深度学习自然语言处理实战

近年来，基于深度学习方法的自然语言处理（NLP）已逐渐成为主流。本书共8章，主要介绍自然语言处理任务中的深度学习技术，包含深度学习理论基础、深度学习的软件框架、语言模型与词向量、序列模型与梯度消失/爆炸、卷积神经网络在NLP领域的应用、Seq2Seq模型与Attention机制、大规模预训练模型、预训练语言模型BERT，还给出了自然语言处理技术的高级应用和开发实例，并收录了基于PyTorch深度学习框架的部分实践项目。
本书既可作为人工智能、计算机科学、电子信息工程、自动化等专业的本科生及研究生教材，也可作为自然语言处理相关领域的研究人员和技术人员的参考资料。

本书介绍了当前NLP的研究热点，如预训练模型、知识的引入、迁移学习、低资源任务学习、多模态学习等，内容介绍上由浅入深，从基础环境安装，到理论讲解，再到数学推导，然后解释各个模型的优缺点，*后还有应用场景介绍和代码实战。

自然语言处理作为深度学习的重要组成部分之一，已经成为机器语言和人类语言之间沟通的桥梁，起到了人机交流的作用。其发展速度在深度学习技术出现后得到了极大提高，机器学习、深度学习这些曾经仅仅掌握在少数科学家手中的技术已经融入我们的生活。

自然语言处理可以分为两个核心任务：自然语言理解与自然语言生成。自然语言理解就是使机器能够具备人类的语言理解能力，可以理解为让计算机“听”懂我们在说什么；而自然语言生成则是将非语言格式的数据转换成人类可以理解的语言格式，也就是将计算机想“讲”的话“说”出来。目前机器翻译、聊天机器人、舆情分析等自然语言的实际应用都可归类于这两大核心任务。
本书作为一本结合理论与实践的参考书，不仅介绍了自然语言处理必备的理论知识，还深入讲解了自然语言处理任务的相关技术实现。读者可以通过本书全面地梳理自然语言处理领域的前沿知识，系统地理解自然语言技术脉络，并在需要寻找某些特定技术时获得一定的帮助。
本书共8章。第1章介绍了深度学习理论的发展和基础知识，第2章讲解了PyTorch环境配置及常用操作，第3章介绍了自然语言处理的基础知识，包括词向量和语言模型等，第4章和第5章则分别给出了循环神经网络和卷积网络的理论及技术实现，第6章介绍了经典Seq2Seq模型和Attention机制，第7章和第8章分别介绍了多种大规模预训练模型（ELMo、Transformers、BERT等）。
本书是集体智慧的结晶，写作成员包括张楠、苏南、王贵阳、梁培力、金纾羽。同时，感谢很多同事和朋友在写作过程中给予的协助。在写作过程中，我们从实际出发，考虑每一章节结合理论所需要的技术支持是怎样的，并给出实例，同时关注国内外关于自然语言处理的最新进展，并思考如何将这些技术真正传达给读者。需要说明的是，在写作过程中，我们参阅了很多资料，并尽可能列出了参考文献，这里向参考文献的作者深表感谢！
由于水平有限，书中难免有疏漏和不足之处，恳请读者批评指正。

编者

◆ 序言：◆

致数字化人才的一封信

如今，在全球范围内，数字化经济的爆发式增长带来了数字化人才需求量的急速上升。当前沿技术改变了商业逻辑时，企业与个人要想在新时代中保持竞争力，进行数字化转型不再是选择题，而是一道生存题。当然，数字化转型需要的不仅仅是技术人才，还需要能将设计思维、业务场景和ICT专业能力相结合的复合型人才，以及在垂直领域深度应用最新数字化技术的跨界人才。只有让全体人员在数字化技能上与时俱进，企业的数字化转型才能后继有力。
2020年对所有人来说注定是不平凡的一年，突如其来的新冠肺炎疫情席卷全球，对行业发展带来了极大冲击，在各方面异常艰难的形势下，AI、5G、大数据、物联网等前沿数字技术却为各行各业带来了颠覆性的变革。而企业的数字化变革不仅仅是对新技术的广泛应用，对企业未来的人才建设也提出了全新的挑战和要求，人才将成为组织数字化转型的决定性要素。与此同时，我们也可喜地看到，每一个身处时代变革中的人，都在加快步伐投入这场数字化转型升级的大潮，主动寻求更便捷的学习方式，努力更新知识结构，积极实现自我价值。
以开课吧为例，疫情期间学员的月均增长幅度达到300%，累计付费学员已超过400万。急速的学员增长一方面得益于国家对数字化人才发展的重视与政策扶持，另一方面源于疫情为在线教育发展按下的“加速键”。开课吧一直专注于前沿技术领域的人才培训，坚持课程内容“从产业中来到产业中去”，完全贴近行业实际发展，力求带动与反哺行业的原则与决心，也让自身抓住了这个时代机遇。
我们始终认为，教育是一种有温度的传递与唤醒，让每个人都能获得更好的职业成长的初心从未改变。这些年来，开课吧一直以最大限度地发挥教育资源的使用效率与规模效益为原则，在前沿技术培训领域持续深耕，并针对企业数字化转型中的不同需求细化了人才培养方案，即数字化领军人物培养解决方案、数字化专业人才培养解决方案、数字化应用人才培养方案。开课吧致力于在这个过程中积极为企业赋能，培养更多的数字化人才，并帮助更多人实现持续的职业提升、专业进阶。
希望阅读这封信的你，充分利用在线教育的优势，坚持对前沿知识的不断探索，紧跟数字化步伐，将终身学习贯穿于生活中的每一天。在人生的赛道上，我们有时会走弯路、会跌倒、会疲惫，但是只要还在路上，人生的代码就由我们自己来编写，只要在奔跑，就会一直矗立于浪尖！
希望追梦的你，能够在数字化时代的澎湃节奏中“乘风破浪”，我们每个平凡人的努力学习与奋斗，也将凝聚成国家发展的磅礴力量！

慧科集团创始人、董事长兼开课吧CEO方业昌

◆ 目录：◆

前言
第1章深度学习理论基础
1.1深度学习概况
1.1.1深度学习的历史
1.1.2“无所不能”的深度学习
1.2深度学习神经网络
1.2.1神经网络
1.2.2隐藏层
1.2.3梯度下降
1.2.4激活函数
1.2.5权重初始化
1.2.6正则化
1.2.7归一化
第2章深度学习的软件框架
2.1环境配置
2.1.1Anaconda
2.1.2英伟达GPU驱动+CUDA+cuDNN
2.1.3PyTorch安装
2.1.4Python IDE选择
2.2PyTorch 入门
2.2.1Tensor基本概念
2.2.2Tensor的运算
2.3PyTorch自动求梯度
2.3.1基本概念
2.3.2Tensor样例
2.3.3梯度计算
2.4PyTorch nn模块
第3章语言模型与词向量
3.1语言模型
3.1.1无处不在的语言模型
3.1.2神经网络语言模型
3.2词向量
3.2.1one-hot
3.2.2word2vec
3.2.3GloVe
3.3代码实战
3.3.1任务1:应用PyTorch搭建Skip-Gram
3.3.2任务2:基于GloVe的大规模中文语料的词向量训练
第4章序列模型与梯度消失/爆炸
4.1循环神经网络
4.1.1模型结构及计算过程
4.1.2应用PyTorch搭建并训练RNN模型
4.2梯度消失与爆炸
4.2.1产生原因
4.2.2解决方法
4.3改进方法
4.3.1LSTM
4.3.2GRU
4.4代码实战：搭建LSTM/GRU的文本分类器
第5章卷积神经网络在NLP领域的应用
5.1卷积神经网络的概念
5.1.1输入层
5.1.2卷积层
5.1.3池化层
5.1.4全连接层
5.2空洞卷积神经网络
5.2.1空洞卷积的基本定义
5.2.2空洞卷积在NLP中的应用
5.2.3空洞卷积相关代码
5.2.4多层卷积
5.3代码实战：CNN情感分类实战
5.3.1数据处理
5.3.2程序主干部分
5.3.3模型部分
5.3.4模型训练与评估
第6章Seq2Seq模型与Attention机制
6.1Encoder-Decoder结构
6.1.1Encoder
6.1.2Decoder
6.1.3Encoder-Decoder存在的问题
6.2Attention机制
6.3Seq2Seq训练与预测
6.3.1模型训练
6.3.2模型预测
6.3.3BLEU模型评估法
6.4代码实战：应用PyTorch搭建机器翻译模型
第7章大规模预训练模型
7.1ELMo
7.1.1模型结构
7.1.2模型效果
7.1.3ELMo的优点
7.1.4利用ELMo+CNN进行分类的示例
7.2Transformer
7.2.1Encoder端及Decoder端总览
7.2.2Encoder端各个子模块
7.2.3Decoder端各个子模块
7.2.4其他模块
7.2.5完整模型
第8章预训练语言模型BERT
8.1BERT的基本概念
8.2BERT的工作原理
8.2.1BERT的预训练
8.2.2BERT模型结构
8.2.3BERT的微调
8.3BERT的可解释性
8.4其他预训练模型
8.4.1XLNet
8.4.2RoBERTa
8.4.3ALBERT
8.5代码实战：预训练模型
参考文献