情感分析进阶

本书包括五个部分：第yi部分介绍文本情感分析的研究背景、研究现状和基础技术；第二部分从内容语义理解的角度出发，介绍基于隐式表达的讽刺检测技术；第三部分从用户个性化建模的角度出发，介绍多轮对话中的情绪分析技术；第四部分介绍小样本场景下的立场检测解决方案；第五部分介绍对抗攻击场景下的情感分类防御技术。

林政　中国科学院信息工程研究所研究员、博士生导师，中国科学院信息工程研究所第三研究室IIE-NLP小组负责人。主要研究领域是自然语言处理、网络内容安全，具体包括情感/情绪分析、机器阅读理解、神经网络模型压缩等研究任务。在2018、2019年连续获得两届全国“军事智能-机器阅读”挑战赛冠军。2020年在常识推理阅读国际比赛排行榜上取得了三个任务的首名。近几年在TASLP、ACL、EMNLP、AAAI、IJCAI、WWW、CIKM、WSDM、ICMR等国内外顶级学术会议和期刊上发表论文50篇，入选科技部F5000优秀论文，获得国家自然科学基金青年项目、面上项目、国家重点研发计划等多个项目资助。

前言
文本情感分析是自然语言处理、人工智能与认知科学等领域的重要研究方向之一。通过计算机自动进行文本情感分析的研究始于20世纪90年代，早期研究以文本情感分类为主，即把文本按照主观倾向性分成正面、负面和中性三类。其中正面类别是指文本体现出支持的、积极的、喜欢的态度和立场，负面类别是指文本体现出反对的、消极的、厌恶的态度和立场，中性类别是指没有偏向的态度和立场。随着互联网的飞速发展，人们越来越习惯于在社交网络上发表主观性言论。社交网络中的大量用户生成数据为情感分析提供了新的机遇，同时也带来了新的挑战。
从内容的角度看，很多言论所蕴含的情感是隐式的，而机器很难从表面文字推理言外之意；从用户的角度看，每个人的性格不同导致情感表达的方式也不同，所以要考虑用户特征进行个性化情感分析，不能一概而论；从语料的角度看，对于低资源领域或者任务，已有的数据驱动模型难以取得令人满意的效果；从鲁棒性和安全性的角度看，现有的深度学习模型很容易受到不易觉察的对抗攻击，从而产生错误的情感预测。因此，传统的文本情感分析方法已经难以满足复杂网络数据的分析需求。此外，随着个性化推荐、用户画像分析、对话机器人等新技术和新应用的兴起，相关的情感分析技术也需要不断升级，从而提供更加智能化、更加人性化、更加共情的情感分析服务。
本书针对以上挑战，全面系统地介绍高级文本情感分析的核心技术与应用实践。本书包括五个部分：第一部分介绍文本情感分析的研究背景、研究现状和基础技术；第二部分从内容语义理解的角度出发，介绍基于隐式表达的讽刺检测技术；第三部分从用户个性化建模的角度出发，介绍多轮对话中的情绪分析技术；第四部分介绍小样本场景下的立场检测解决方案；第五部分介绍对抗攻击场景下的情感分类防御技术。
本书可以为人工智能、机器学习、自然语言处理和社会计算等领域的从业者和科研人员提供一些前沿视野及相关理论、方法和技术，如基于隐式表达的讽刺检测、面向个性化的多轮对话情绪分析、小样本场景下的立场检测等，也可作为相关专业高年级本科生或研究生的参考教材。
由于作者水平有限，因此尽管尽了最大的努力，但书中依然难免存在疏漏和错误之处，敬请广大专家、读者批评指正。

作者
2023年1月

目录
前言
第一部分
第1章 概述2
1.1文本情感分析相关概念2
1.2文本情感分析方法4
1.2.1基于知识库的方法4
1.2.2基于机器学习的方法4
1.2.3基于深度学习的方法5
1.3情感分析的应用5
1.3.1商业领域5
1.3.2文化领域6
1.3.3社会管理7
1.3.4信息预测7
1.3.5情绪管理8
1.3.6智能客服8
1.4情感分析面临的困难9
1.5机遇和挑战9
1.6本章小结10
第2章文本情感分析基础13
2.1有监督学习13
2.2无监督学习13
2.3半监督学习14
2.4词向量14
2.4.1词向量表示的演化过程14
2.4.2词嵌入方法15
2.5卷积神经网络18
2.5.1卷积层19
2.5.2激活函数层20
2.5.3池化层21
2.5.4全连接层22
2.6循环神经网络22
2.7记忆网络24
2.8预训练模型25
2.8.1模型结构25
2.8.2预训练任务27
2.9本章小结27
第二部分
第3章基于文本片段不一致性的讽刺
检测模型32
3.1任务与术语32
3.2片段不一致性32
3.3自注意力机制33
3.4模型框架33
3.4.1总体框架33
3.4.2输入模块34
3.4.3卷积模块34
3.4.4重要性权重模块34
3.4.5注意力机制模块35
3.4.6输出模块35
3.4.7训练目标36
3.5实验设计和结果分析36
3.5.1数据集介绍36
3.5.2实验环境和设置37
3.5.3基线模型37
3.5.4对比实验结果37
3.5.5消融实验结果39
3.5.6模型分析39
3.6应用实践41
3.7本章小结42
第4章基于常识知识的讽刺检测
44
4.1任务与术语44
4.2常识知识资源44
4.3知识生成方法45
4.4知识选择方法45
4.5知识融合方法46
4.6模型框架47
4.7实验设计和结果分析47
4.7.1数据集介绍47
4.7.2实验环境和设置48
4.7.3基线模型48
4.7.4对比实验结果48
4.7.5消融实验结果50
4.7.6模型分析50
4.8应用实践52
4.9本章小结53
第5章基于多模态数据的讽刺检测
55
5.1任务与术语55
5.2模态内注意力55
5.3模态间注意力56
5.4模型框架57
5.5实验设计和结果分析57
5.5.1数据集介绍57
5.5.2实验环境和设置58
5.5.3基线模型58
5.5.4对比实验结果59
5.5.5消融实验结果59
5.5.6模型分析60
5.6应用实践61
5.7本章小结63
第三部分
第6章基于用户建模的对话情绪分析
66
6.1任务与术语66
6.2层级Transformer和Mask机制
69
6.3自己-自己关系建模71
6.4自己-其他关系建模72
6.5用户关系权重选择72
6.6模型框架73
6.7应用实践76
6.7.1常用数据集76
6.7.2其他对话用户关系建模模型
76
6.7.3实验结果77
6.8本章小结80
第7章基于过去、现在和未来的对话
情绪分析84
7.1任务与术语84
7.2常识知识库85
7.2.1ATOMIC常识知识库86
7.2.2COMET知识生成模型87
7.2.3COMETATOMIC2020知识生成
模型88
7.3图神经网络88
7.4基于知识的情绪预测92
7.4.1知识增强的Transformer93
7.4.2COSMIC情绪预测模型94
7.5对话上下文交互图构建95
7.6模型框架97
7.7应用实践98
7.8本章小结99
第8章基于平衡特征空间的不平衡
情绪分析102
8.1情绪分析中的不平衡问题102
8.2基于重采样的平衡策略103
8.3基于重权重化的平衡策略104
8.3.1类别平衡损失函数104
8.3.2标签分布感知的间隔损失函数
106
8.4基于数据增强的平衡策略107
8.4.1计算机视觉中的基于数据增强
的平衡策略107
8.4.2自然语言处理中的数据增强方法
108
8.5Focal损失函数108
8.6自我调整的Dice损失函数109
8.7中心损失函数110
8.8三元组中心损失函数110
8.9最大马氏分布中心111
8.10特征空间平衡损失函数112
8.11应用实践113
8.11.1代码实现113
8.11.2实验性能115
8.12本章小结117
第四部分
第9章基于语义-情绪知识的跨目标
立场检测122
9.1任务描述122
9.2立场检测基础模型123
9.3语义知识和情绪知识123
9.4模型框架124
9.5语义-情绪图建模125
9.6知识增强的BiLSTM网络125
9.7立场检测分类器127
9.8模型应用127
9.8.1实验说明127
9.8.2实验结果与分析128
9.9本章小结129
第10章基于元学习的跨领域立场检测
131
10.1元学习概念131
10.2有监督元学习131
10.2.1基于度量的元学习方法131
10.2.2基于模型的元学习方法133
10.2.3基于优化的元学习方法135
10.3MAML算法136
10.4基于元学习的立场检测模型
137
10.5应用实践138
10.5.1数据集介绍138
10.5.2实验细节139
10.5.3对比模型139
10.5.4实验结果139
10.5.5核心代码140
10.6本章小结142
第11章知识增强的零样本和小样本
立场检测144
11.1任务与术语144
11.2概念知识图145
11.3多关系图神经网络146
11.4基于多关系图神经网络的
知识图编码147
11.5知识增强的立场检测模型
147
11.6应用实践149
11.6.1实验设置149
11.6.2核心代码149
11.6.3对比方法152
11.6.4实验结果与分析152
11.7本章小结154
第五部分
第12章面向情感分类的对抗攻击
158
12.1对抗样本的概念158
12.1.1对抗样本的提出158
12.1.2对抗样本的定义159
12.2扰动控制160
12.2.1编辑距离160
12.2.2欧氏距离160
12.2.3余弦距离161
12.2.4Jaccard相似系数161
12.2.5单词移动距离161
12.2.6各种指标的应用161
12.3白盒攻击与黑盒攻击162
12.4目标攻击与非目标攻击16