深度学习在自然语言处理中的应用 从词表征到ChatGPT

张镭
目前在Meta公司从事机器学习算法研发。美国伊利诺伊大学芝加哥分校计算机科学博士，主要研究领域为自然语言处理、机器学习和数据挖掘。在国内外学术期刊和会议上已发表20多篇学术文章，获得多项美国专利，合著有Mining Text Data等4本关于文本数据挖掘和大数据计算的图书，并长期受邀担任自然语言处理国际期刊评委和国际会议程序委员会委员。

适读人群 ：本书适合对深度学习以及自然语言处理感兴趣的人士阅读。

1. Meta资深工程师、数据科学家、机器学习算法研发专业人员执笔，传递值得借鉴学习的经验和见解。
2. 从研究员和实践者的双重角度出发，系统介绍深度学习技术原理及其在自然语言处理中的应用。
3. 汇集该领域的重要思想和研究成果，清晰梳理自然语言处理技术发展脉络，帮助读者更好地了解该领域的发展历程和趋势。
4. 内容新颖全面，聚焦前沿，讲解深入浅出、通俗易懂，适合入门自然语言处理，是一本不容错过的优质参考书。

前言 iii
第 1章 绪论 1
1．1 机器学习简介 1
1．1．1 机器学习的发展历程 1
1．1．2 机器学习的算法分类 4
1．2 深度学习简介 5
1．3 自然语言处理简介 7
1．3．1 自然语言处理的发展历程 7
1．3．2 自然语言处理的研究方向 8
1．3．3 自然语言理解的主要任务 8
1．3．4 自然语言生成的任务 14
1．3．5 自然语言处理面临的挑战 15
1．4 自然语言处理与机器学习和深度学习 16
第 2章 深度学习基础 17
2．1 前馈神经网络 17
2．2 卷积神经网络 20
2．3 循环神经网络 24
2．4 长短期记忆网络 26
2．5 记忆网络和神经图灵机 28
2．6 图神经网络 30
2．7 深度生成模型 33
2．7．1 自编码器和变分自编码器 34
2．7．2 生成对抗网络 39
2．8 Transformer 39
2．8．1 Transformer的编码模块 41
2．8．2 Transformer的解码模块 42
第3章 词表征 44
3．1 语言模型 45
3．2 基于矩阵的词分布表征模型 46
3．2．1 潜在语义分析 46
3．2．2 GloVe 47
3．3 基于聚类的词分布表征模型 48
3．4 基于神经网络的词分布表征模型 49
3．4．1 NNLM 50
3．4．2 RNNLM 52
3．4．3 Collobert-Weston模型 53
3．4．4 Word2Vec 54
3．4．5 ELMo 58
3．4．6 ULMFit 60
3．4．7 GPT 61
3．4．8 BERT 62
3．4．9 T5 64
3．5 跨语言的词嵌入模型 64
3．5．1 基于词对齐 65
3．5．2 基于预训练的方法 66
3．6 其他表征 67
第4章 注意力机制 69
4．1 注意力机制的由来 69
4．2 注意力机制的扩展 72
4．2．1 全局注意力和局部注意力 72
4．2．2 自注意力 75
4．3 NTM和MemNN的注意力机制 77
4．3．1 NTM的注意力机制 78
4．3．2 MemN2N的注意力机制 79
4．4 指针网络的注意力机制 81
第5章 迁移学习 83
5．1 迁移学习的定义和分类 83
5．2 领域自适应 86
5．2．1 基于样本的迁移学习 86
5．2．2 基于特征映射的迁移学习 88
5．2．3 基于对抗的深度迁移学习 91
5．3 多任务学习 91
5．4 序列迁移学习 94
5．4．1 预训练语言模型 95
5．4．2 微调 95
5．5 跨语言的迁移学习 97
第6章 强化学习 98
6．1 强化学习的定义 99
6．1．1 马尔可夫决策过程 99
6．1．2 强化学习的模型 100
6．1．3 智能体的策略 101
6．1．4 价值函数 101
6．2 贝尔曼方程 103
6．3 强化学习的分类 104
6．3．1 有模型学习 105
6．3．2 免模型学习 107
6．3．3 基于值函数和基于策略函数的学习 112
6．4 深度强化学习 115
6．5 深度强化学习在NLP中的应用 116
第7章 机器翻译 117
7．1 机器翻译的发展历程 117
7．2 神经机器翻译 118
7．3 基于RNN的Seq2Seq模型 120
7．4 基于CNN的Seq2Seq模型 124
7．5 神经机器翻译的策略 126
7．5．1 解码策略 126
7．5．2 估计softmax函数计算 127
7．5．3 缩小词典 127
7．5．4 处理生僻词和未知词 128
7．6 机器翻译的评价方法 129
7．6．1 人工评价 130
7．6．2 下游系统评价 130
7．6．3 BLEU 130
第8章 文本摘要 132
8．1 抽取式摘要 132
8．1．1 传统机器学习方法 133
8．1．2 深度学习方法 135
8．2 生成式摘要 136
8．2．1 传统机器学习方法 137
8．2．2 深度学习方法 137
8．3 文本摘要的评价 139
第9章 自动问答 140
9．1 基于检索的自动问答 140
9．1．1 文本检索模块 141
9．1．2 文本理解模块 143
9．2 基于知识库的自动问答 146
9．3 基于社区的自动问答 148
9．3．1 专家推荐 148
9．3．2 相似问题检索 149
9．3．3 答案质量评估 149
9．4 深度自动问答系统 150
9．4．1 抽取式机器阅读理解 150
9．4．2 生成式机器阅读理解 151
9．5 自动问答系统的评价 151
第 10章 对话系统 153
10．1 面向任务的对话系统 154
10．1．1 自然语言理解 155
10．1．2 对话管理 155
10．1．3 自然语言生成 157
10．2 开放域对话系统 158
10．2．1 检索式方法 159
10．2．2 生成式方法 159
10．2．3 混合方法 160
10．2．4 开放域对话系统的关键问题 160
10．3 对话系统的评测 162
第 11章 情感分析 164
11．1 情感分析的分类 165
11．1．1 文档级情感分析 166
11．1．2 句子级情感分析 167
11．1．3 方面级情感分析 168
11．1．4 监督学习和基于词典的方法比较 169
11．2 方面和实体提取 170
11．2．1 挖掘频繁出现的名词短语 170
11．2．2 利用情感词与目标词之间的语法关系 170
11．2．3 应用监督学习模型 171
11．2．4 使用主题模型 171
11．3 情感词典 172
11．3．1 基于词典的方法 172
11．3．2 基于语料库的方法 172
11．4 多模态情感分析 173
第 12章 ChatGPT 174
12．1 大型语言模型 174
12．1．1 语言模型的演化 175
12．1．2 大型语言模型的最优训练 176
12．1．3 语境学习 176
12．1．4 提示工程 177
12．2 基于人工反馈的强化学习方法 179
12．3 生成ChatGPT 180
12．3．1 步骤1：微调GPT-3．5 180
12．3．2 步骤2：训练奖励模型 180
12．3．3 步骤3：利用强化学习微调ChatGPT 181
12．4 ChatGPT的发展 181
参考文献 183