深度学习笔记

　　《深度学习笔记》作为一本以“笔记”命名的深度学习图书，主要定位是面向广大希望入门深度学习的初学者。本书以深度神经网络(DNN)、卷积神经网络(CNN)和循环神经网络(RNN)为核心，详细介绍了深度学习的理论基础、通用方法和三大网络的原理与实践。全书代码以Keras框架作为范例，对于初学者而言简单易懂。
　　对于深度学习而言，本书内容丰富，知识覆盖面广，兼有代码实战,适合想要入门深度学习的广大学习者阅读。

　　鲁伟，贝叶斯统计方向硕士毕业，深度学习算法工程师，微信公众号“机器学习实验室”主编，对人工智能、机器学习、深度学习、医学图像处理和计算机视觉等有深入研究。

作者以学习者的身份和过来人的角度来谈深度学习，对于广大想要入门深度学习而不知方法路径的读者而言很有指导价值，笔记二字也能快速拉近与读者的距离。
—— 有三AI创始人 言有三

作为一本深度学习入门书籍，这本深度学习笔记几乎覆盖了大多数深度学习知识体系，从DNN到CNN再到RNN，分别对应神经网络理论基础、计算机视觉和自然语言处理，作者以学习者和从业者的身份告诉大家深度学习怎样学，从提纲挈领到入微细节，是一本深度学习入门好书。
—— 华东师范大学统计学院 汤银才教授

当我们谈起人工智能时，可能很多人都觉得它很专业而且离我们很遥远。我们付款可以刷脸了，寂寞的时候可以和Siri聊天，带一只翻译笔就可以解决跨国语言交流障碍，打开一个页面瞬间都是我们喜欢的内容，看完这些后，你还会觉得遥远吗？很显然，不遥远。这些就是人工智能的杰作。
人工智能是一个泛泛的概念，也有人称为机器学习，通俗的解释就是让机器像人类一样思考、做事，而深度学习就是人工智能的核心技术之一，多数人面对学习深度学习都感到很恐惧，认为太专业了、太深奥了，根本不可能啃动！那我建议你先看看这本深度学习的笔记，整本书通俗易懂、风趣幽默，实战性强，相信你也能快速掌握这门人工智能的核心技术。
——爱数圈创始人、知名数据大V 邓凯

推荐序

鲁伟，男，帅哥一枚，狗熊会人才计划第一期优秀毕业生，乃人才！

机缘巧合下，在2017年毕业前的最后一个学期，鲁伟加入了狗熊会的公益项目“人才计划”，也因此与狗熊会结下了不解之缘。狗熊会人才计划是一个纯公益项目，面向全球招募学生，然后通过在线任务的形式完成整个培训。狗熊会人才计划的毕业生应该具备三个独特的优点。第一，好学。狗熊会人才计划作为一个公益项目，什么名利也给不了学员，给不了学位，发不了奖金。为什么学员还要来呢？大概只有一个原因：好学。第二，努力。狗熊会人才计划的执行节奏非常快，每周两个任务，没有“迟到”这个概念。因此，辛苦努力、熬夜加班是常态。不够努力的人是不可能坚持下来的。第三，谦逊。在狗熊会人才计划的微信群里没有“客气”两个字。老师对学生的批评是最直白的，直指学生问题的本质，以期学生以最快的速度成长。能够顺利毕业的学生，一定是能够在批评意见中成长的。对，这就是狗熊会人才计划毕业生的特质。而所有这些特质在鲁伟同学身上表现得尤为突出。

在狗熊会的人才计划课堂上，鲁伟同学的教育背景不算突出，有不少学生来自国内最好的学校，甚至有人来自国际名校；鲁伟同学的学术基础也不是最好的，有不少学生来自国内一流的统计学、计算机、数学专业。但是，鲁伟同学是最努力、最具备正能量的。他的努力表现在对所有未知知识的学习渴望上，永远都是非常积极而优秀地完成各种挑战的TASK任务。他的正能量表现在对老师、同学、朋友的各种帮助和贡献上，永远都非常乐于帮助老师，帮助同学，帮助朋友。鲁伟同学的这种独特而优秀的品质，指引着他不断地前进。在职场上不断地前进，在专业知识上也不断地提高。这种不懈的努力，也反映在他对人工智能、深度学习的不断钻研上。在辛苦钻研的过程中，形成了这本极具特色的著作《深度学习笔记》。

对这本书，我尤其喜欢“笔记”二字。首先，“笔记”非常恰当地反映了鲁伟作为一个学生的学习态度。笔记记录了他辛苦探索的过程，而且内容极其丰富。从经典的神经网络出发，到各种优化算法，到卷积神经网络、各种图像应用，再到以循环神经网络为基础的各种自然语言处理模型。不得不说，鲁伟是一位勤奋而好学的好学生！他的笔记一定会惠及更多渴望在深度学习方面入门的朋友。其次，“笔记”非常恰当地反映了这本书的定位，不是从老师高高在上向下传授的角度，而是从一个学生努力学习的角度进行陈述。这样的好处是什么呢？非常通俗、生动、易懂。对于很多初学者而言，就像是有一个勤奋好学的大师兄，在你学习深度学习的道路上，为你默默助力。最后，“笔记”也告诉大家，鲁伟自己在这条道路上还是一个学生，显然他还不是专家，也请大家多多批评指正。相信大家的建设性意见能够帮助鲁伟成长为一位更优秀的个体！我相信，他会成长为一名真真正正的专家，兼具扎实的理论基础、计算基础、行业经验，还具有勇往直前的无限勇气！

第1讲神经网络与深度学习1
1.1机器学习与深度学习的关系2
1.2感知机与神经网络3
第2讲神经网络的过拟合与正则化7
2.1机器学习的核心要义8
2.2范数与正则化9
2.3神经网络的正则化和Dropout11
第3讲深度学习的优化算法14
3.1机器学习的数学规约15
3.2损失函数和深度学习优化算法15
3.3梯度下降法16
3.4从Momentum到Adam18
第4讲卷积神经网络21
4.1CNN发展简史与相关人物22
4.2卷积的含义23
4.3池化和全连接26
深度学习笔记目录第5讲CNN图像学习过程与可视化28
5.1CNN的直观理解29
5.2CNN图像学习的可视化31
第6讲CNN图像分类：从LeNet5到EfficientNet37
6.1计算机视觉的三大任务38
6.2CNN图像分类发展史39
第7讲CNN目标检测：从RCNN到YOLO47
7.1目标检测概述48
7.2CNN目标检测算法49
第8讲CNN图像分割：从FCN到U-Net56
8.1语义分割和实例分割概述57
8.2语义分割58
第9讲迁移学习理论与实践65
9.1迁移学习：深度学习未来五年的驱动力？66
9.2迁移学习的使用场景66
9.3深度卷积网络的可迁移性67
9.4迁移学习的使用方法68
9.5基于ResNet的迁移学习实验68
第10讲循环神经网络76
10.1从语音识别到自然语言处理77
10.2RNN：网络架构与技术79
10.3四种RNN结构81
第11讲长短期记忆网络84
11.1深度神经网络的困扰：梯度爆炸与梯度消失85
11.2LSTM：让RNN具备更好的记忆机制87
第12讲自然语言处理与词向量91
12.1自然语言处理简介92
12.2词汇表征93
12.3词向量与语言模型94
第13讲word2vec词向量98
13.1word2vec99
13.2word2vec的训练过程：以CBOW为例100
第14讲seq2seq与注意力模型104
14.1seq2seq的简单介绍105
14.2注意力模型105
14.3基于seq2seq和Attention机制的机器翻译实践108
第15讲语音识别118
15.1概述119
15.2信号处理与特征提取120
15.3传统声学模型122
15.4基于深度学习的声学模型123
15.5端到端的语音识别系统简介125
第16讲从Embedding到XLNet：NLP预训练模型简介127
16.1从Embedding到ELMo128
16.2特征提取器：Transformer129
16.3低调王者：GPT131
16.4封神之作：BERT131
16.5持续创新：XLNet132
第17讲深度生成模型之自编码器134
17.1自编码器135
17.2自编码器的降噪作用136
17.3变分自编码器138
17.4VAE的Keras实现143
第18讲深度生成模型之生成式对抗网络148
18.1GAN149
18.2训练一个DCGAN151
第19讲神经风格迁移、深度强化学习与胶囊网络159
19.1神经风格迁移160
19.2深度强化学习162
19.3胶囊网络166
第20讲深度学习框架171
20.1概述172
20.2TensorFlow173
20.3Keras175
20.4PyTorch176
第21讲深度学习数据集179
21.1CV经典数据集180
21.2NLP经典数据集187
参考文献189