基于深度学习的自然语言处理

介绍深度学习领域最先进的技术

以及深度学习在主要的自然语言处理任务中的成功应用

对深度学习时代自然语言处理领域的不同研究前沿进行了概括与分析

列举了深度学习与自然语言处理领域中交叉的技术性术语以及常用的首字母缩略词。

邓力博士，2019年当选加拿大国家工程学院和美国华盛顿州科学院院士，目前担任Citadel首席人工智能官。2000—2017年，邓博士在微软曾担任AI首席科学家、深度学习技术中心(Deep Learning Technology Center)创始人、微软合伙人研究经理。1989—1999年，邓博士在加拿大滑铁卢大学曾担任助理教授、终身副教授和正教授，还曾在麻省理工学院(1992—1993年)、ATR(1997—1998年，日本京都)和香港科技大学(1995年，香港)担任教学/研究职位。邓博士是IEEE(2004)、美国声学学会(1993)和ISCA(2011)的研究员。自2000年以来，邓博士一直是西雅图华盛顿大学的兼职教授。

　　刘洋博士，清华大学计算机科学与技术系长聘教授、人工智能研究所所长，国家杰出青年基金获得者。研究方向是自然语言处理，在自然语言处理和人工智能领域重要国际刊物和国际会议上发表80余篇论文，获得ACL 2017杰出论文奖和ACL 2006优秀亚洲自然语言处理论文奖。获得国家科技进步二等奖、中国电子学会科技进步一等奖、中国中文信息学会钱伟长青年创新一等奖、北京市科学技术奖二等奖等多项科技奖励。担任或曾担任国际计算语言学学会亚太分会执委兼秘书长、Computational Linguistics编委、ACM TALLIP副编辑、中国中文信息学会青年工作委员会主任。

　近几年来，深度学习已经彻底改变人工智能的诸多领域，涉及语音、视觉、自然语言、机器人和游戏等。深度学习在自然语言处理领域的诸多应用方面大获成功，这使其成为人工智能领域最重要的发展基准。
　　本书介绍深度学习领域先进的技术以及深度学习在主要的自然语言处理任务中的成功应用，包括语音识别和理解、对话系统、语义分析、句法分析、知识图谱、机器翻译、问答、情感分析、社会计算和基于图像的自然语言生成。本书对深度学习时代自然语言处理领域的不同研究前沿进行了概括与分析，还列举了深度学习与自然语言处理领域中交叉的技术性术语以及常用的首字母缩略词。
　　本书面向深度学习与自然语言处理领域高年级的本科生、研究生、博士后研究员、讲师、行业的研究员以及任何对此领域感兴趣的人。

前言

自然语言处理(Natural Language Processing，NLP)旨在使计算机能够智能地处理人类语言，这是一门涵盖人工智能、计算科学、认知科学、信息处理和语言学的重要跨学科领域。由于长期关注计算机和人类语言之间的交互，NLP应用(例如，语音识别、对话系统、信息检索、问答和机器翻译)已经开始重塑人们识别、获取和利用信息的方式。

NLP的发展历经三大浪潮：理性主义、经验主义和深度学习。在第一大浪潮中，理性主义主张设计人工规则，以便将知识纳入NLP系统，其基础假设是人类思维中的语言知识通过一般继承预先固定。在第二大浪潮中，经验主义假设表面形式中的丰富感官输入和可观察语言数据是必需的，并且足以使大脑学习自然语言的详细结构。因此，人们开发了概率模型来验证大型语料库中语言的规则性。在第三大浪潮中，受生物神经系统的启发，深度学习利用非线性处理的层次模型，通过旨在模拟人类认知能力的方式学习语言数据的内在表征。

深度学习和自然语言处理的交叉在实际任务中取得了惊人的成功。语音识别是深度学习深刻影响的第一个工业化NLP应用程序。随着大规模训练数据的使用，与传统的经验主义方法相比，深度神经网络所造成的识别错误已经显著降低。机器翻译是另一个基于深度学习的成功的NLP应用。端到端神经机器翻译已经可以大大提高翻译质量，此种机器翻译使用神经网络对人类语言进行映射。因此，神经机器翻译已迅速成为大型科技公司(如谷歌、微软、Facebook、百度等)提供的主要商业在线翻译服务中的新型实用技术。包括语言理解和对话、词汇分析和句法分析、知识图谱、信息检索、文本问答、社交计算、语言生成和文本情感分析在内的其他NLP领域也在应用深度学习方面取得重大进展，并引领了NLP发展中的第三大浪潮。如今，在所有NLP任务的实际应用中，深度学习成为最主要的方法。

《基于深度学习的自然语言处理》旨在对基于深度学习的自然语言处理领域所取得的最新进展进行全面回顾。《基于深度学习的自然语言处理》介绍了以NLP为中心的深度学习所研究的最新技术，并重点介绍了深度学习在主要NLP应用中的作用，包括口语理解、对话系统、词法分析、句法分析、知识图谱、机器翻译、问答、情感分析、社交计算和自然语言生成(来自图像)。《基于深度学习的自然语言处理》适合具有计算机背景的读者阅读，包括研究生、博士后研究人员、教育工作者和工业研究人员以及任何对基于深度学习的自然语言处理最新技术感兴趣的人。

《基于深度学习的自然语言处理》共11章，内容如下所示。

第1章自然语言处理与深度学习概述(邓力、刘洋)

第2章基于深度学习的对话语言理解(Gokhan Tur、Asli Celikyilmaz、何晓东、Dilek HakkaniTür、邓力)

第3章基于深度学习的语音与文本对话系统(Asli Celikyilmaz、邓力、Dilek HakkaniTür)

前言基于深度学习的自然语言处理第4章基于深度学习的词法分析和句法分析(车万翔、张岳)

第5章基于深度学习的知识图谱(刘知远、韩先培)

第6章基于深度学习的机器翻译(刘洋、张家俊)

第7章基于深度学习的问答系统(刘康、冯岩松)

第8章基于深度学习的情感分析(唐都钰、张梅山)

第9章基于深度学习的社会计算(赵鑫、李晨亮)

第10章基于深度学习的图像描述(何晓冬、邓力)

第11章后记：深度学习时代下自然语言处理的前沿研究(邓力、刘洋)

第1章首先回顾了NLP的基础知识以及《基于深度学习的自然语言处理》后续章节所涵盖的NLP主要范围，然后深入探讨了NLP发展过程中的三大浪潮及其未来方向。第2~10章对深度学习在自然语言处理领域的应用所取得的最新进展进行深入分析，每一章分别介绍NLP中的一个应用领域，每章的内容由各自领域主要的研究人员和专家撰写。《基于深度学习的自然语言处理》缘于2016年10月在中国山东烟台举行的第15届中国计算语言学会议(CCL 2016)讲习班，我们作为主导者并积极参与其中。感谢施普林格出版社高级编辑常兰兰(Celine Lanlan Chang)博士，她慷慨地邀请我们创作《基于深度学习的自然语言处理》，并为《基于深度学习的自然语言处理》的成稿提供大量及时的帮助。感谢施普林格出版社副编辑李坚(Jane Li)在内容准备的各个阶段提供宝贵的帮助。

感谢《基于深度学习的自然语言处理》第2~10章的所有作者，他们花费宝贵的时间仔细准备相应的章节：Gokhan Tur、Asli Celikyilmaz、Dilek HakkaniTür、车万翔、张岳、韩先培、刘知远、张家俊、刘康、冯岩松、唐都钰、张梅山、赵鑫、李晨亮、何晓东。第4~9章的作者是CCL 2016讲习班的讲师，他们花了很多时间将2016年10月以来该领域的最新进展更新到各自的教程材料中。

此外，感谢众多评论家和读者：古井真熙(Sadaoki Furui)、吴恩达(Andrew Ng)、弗雷德?居昂(Fred Juang)、肯?切奇(Ken Church)、王海峰和张宏江，他们不仅慷慨地进行鼓励，还提出了许多建设性评论，大大改善了《基于深度学习的自然语言处理》的早期草稿。

最后，感谢微软研究院和Citadel(邓力所在的单位)以及清华大学(刘洋所在的单位)为《基于深度学习的自然语言处理》的完成提供优越的环境、支持和鼓励，这些都促使我们更好地完成《基于深度学习的自然语言处理》。刘洋还获得了国家自然科学基金(No.61522204、No.61432013和No.61331013)的支持。

邓力 美国西雅图

刘洋 中国北京

2017年10月

第1章自然语言处理与深度学习概述1

1.1自然语言处理的概况1

1.2第一大浪潮：理性主义2

1.3第二大浪潮：经验主义4

1.4第三大浪潮：深度学习7

1.5从现在到未来的转变11

1.5.1从经验主义到深度学习的变革11

1.5.2当前深度学习技术的限制12

1.6自然语言处理未来的发展方向13

1.6.1神经符号集成(NeuralSymbolic Integration)13

1.6.2结构、记忆和知识15

1.6.3无监督和生成式深度学习15

1.6.4多模式和多任务深度学习16

1.6.5元学习17

1.7结论18第2章基于深度学习的对话语言理解20

2.1引言20

2.2历史性视角22

2.3主要的语言理解任务24

2.3.1域检测和意图识别24

2.3.2填槽24

2.4提升技术水平：从统计建模到深度学习25

2.4.1域检测和意图识别25

2.4.2填槽28

2.4.3联合多任务多域模型35

2.4.4上下文理解37

2.5结论40第3章基于深度学习的语音与文本对话系统43

3.1引言43

3.2系统组件的学习方法46

3.2.1判别性方法47

3.2.2生成性方法48

3.2.3决策性方法49

3.3目标导向型神经对话系统49

3.3.1神经语言理解49

3.3.2对话状态追踪器50

3.3.3深度对话管理器51

3.4基于模型的用户模拟器53

3.5自然语言生成54

3.6基于端到端深度学习构建对话系统57

3.7面向开放式对话系统的深度学习59

3.8对话建模的数据集60

3.8.1卡内基·梅隆传播语料库60

3.8.2ATIS：航空旅行信息系统飞行员语料库60

3.8.3对话状态追踪挑战数据集60

3.8.4Maluuba框架数据集61

3.8.5Facebook对话数据集62

3.8.6Ubuntu对话语料库63

3.9开源对话软件63

3.10对话系统评估65

3.11结论67第4章基于深度学习的词法分析和句法分析68

4.1引言68

4.2典型的词法分析和句法分析任务69

4.2.1分词69

4.2.2词性标注70

4.2.3句法分析70

4.2.4结构化预测问题72

4.3结构化预测74

目录4.3.1基于图的方法75

4.3.2基于转移的方法77

4.4基于神经图的方法82

4.4.1神经条件随机场82

4.4.2基于图的神经依存句法分析84

4.5基于神经转移的方法86

4.5.1贪婪移位减少依存句法分析86

4.5.2贪婪序列标注90

4.5.3全局优化模型94

4.6结论101第5章基于深度学习的知识图谱102

5.1引言102

5.1.1基本概念103

5.1.2典型的知识图谱103

5.2知识表征学习107

5.3神经关系抽取109

5.3.1语句级NRE109

5.3.2文档级NRE115

5.4知识与文本的桥梁:实体连接116

5.4.1实体连接框架117

5.4.2用于实体连接的深度学习120

5.5结论127第6章基于深度学习的机器翻译129

6.1引言129

6.2统计机器翻译及其面对的挑战130

6.2.1基本原理130

6.2.2统计机器翻译所面对的挑战133

6.3基于组件深度学习的机器翻译134

6.3.1用于词对齐的深度学习与基于深度学习的词对齐134

6.3.2用于翻译规则概率估计的深度学习137

6.3.3用于短语调序的深度学习140

6.3.4用于语言建模的深度学习142

6.3.5用于特征组合的深度学习143

6.4基于端到端深度学习的机器翻译146

6.4.1编码器解码器框架146

6.4.2机器翻译的神经注意力148

6.4.3处理大词汇量的技术挑战150

6.4.4使用端到端训练直接优化评估指标152

6.4.5结合先验知识153

6.4.6低资源语言翻译156

6.4.7神经机器翻译中的网络结构158

6.4.8SMT和NMT的结合159

6.5结论161第7章基于深度学习的问答系统163

7.1引言163

7.2基于深度学习的KBQA164

7.2.1信息提取范式165

7.2.2语义分析范式169

7.2.3对比信息提取范式与语义分析范式174

7.2.4数据集174

7.2.5挑战176

7.3基于深度学习的机器阅读理解177

7.3.1任务描述177

7.3.2基于特征工程的方法182

7.3.3基于深度学习的方法186

7.4结论191第8章基于深度学习的情感分析194

8.1引言194

8.2特殊情感词嵌入196

8.3语句级情感分类201

8.3.1卷积神经网络202

8.3.2循环神经网络204

8.3.3递归神经网络207

8.3.4整合外部资源209

8.4文档级情感分类210

8.5细粒度情感分析213

8.5.1意见挖掘214

8.5.2针对特定目标的情感分析215

8.5.3方面级情感分析218

8.5.4立场检测221

8.5.5讽刺识别222

8.6结论223第9章基于深度学习的社会计算224

9.1引言224

9.2基于深度学习对用户生成内容进行建模228

9.2.1传统的语义表征方法229

9.2.2基于浅层嵌入技术的语义表征229

9.2.3基于深度神经网络的语义表征232

9.2.4运用注意力机制增强语义表征236

9.3基于深度学习建立社会联系模型237

9.3.1社交媒体中的社交联系237

9.3.2建模社会关系的网络表征学习方法238

9.3.3基于浅层嵌入的模型239

9.3.4基于深度神经网络的模型243

9.3.5网络嵌入的应用244

9.4基于深度学习的推荐系统245

9.4.1社交媒体中的推荐系统245

9.4.2传统推荐算法246

9.4.3基于浅层嵌入的模型246

9.4.4基于深度神经网络的模型248

9.5结论254第10章基于深度学习的图像描述255

10.1引言255

10.2背景介绍256

10.3图像描述的深度学习框架257

10.3.1端到端框架257

10.3.2组合框架260

10.3.3其他框架262

10.4评估指标和基准263

10.5图像描述的工业部署264

10.6示例：图像中的自然语言描述265

10.7从图像生成文体自然语言的研究进展268

10.8结论270第11章后记：深度学习时代下自然语言处理的前沿研究271

11.1引言271

11.2两个新视角272

11.2.1以任务为中心的视角273

11.2.2以表征为中心的视角274

11.3基于深度学习的NLP的最新研究进展与热点276

11.3.1组合性泛化276

11.3.2NLP中的无监督学习277

11.3.3NLP中的强化学习278

11.3.4NLP中的元学习280

11.3.5弱可解释性与强可解释性282

11.4结论284附录参考答案288术语表360