深度学习原理与实践

本书详细介绍了目前深度学习相关的常用网络模型（ANN、CNN、RNN），以及不同网络模型的算法原理和核心思想。本书利用大量的实例代码对网络模型进行了分析，这些案例能够加深读者对网络模型的认识。此外，本书还提供完整的进阶内容和对应案例，让读者全面深入地了解深度学习的知识和技巧，达到学以致用的目的。
本书适用于大数据平台系统工程师、算法工程师、数据科学家，可作为对人工智能和深度学习感兴趣的计算机相关从业人员的学习用书，也可作为计算机等相关专业的师生用书和培训学校的教材。

陈仲铭，拥有计算机工程学士和软件工程硕士学位，曾在国内核心期刊发表多篇论文，热爱机器人、人工智能算法、机器学习并有多年领域从业经验，现从事人工智能算法工作。

（1）大量图例，简单易懂。作者亲自绘制了大量插图，力求还原深度学习的算法思想，分解和剖析晦涩的算法，用图例来表示复杂的问题。生动的图例也能给读者带来阅读乐趣，快乐地学习算法知识，体会深度学习的算法本质。
（2）简化公式，生动比喻。深度学习和机器学习类的书中通常会有大量复杂冗长的算法公式，为了避免出现读者读不懂的情况，本书尽可能地统一了公式和符号，简化相关公式，并加以生动的比喻进行解析。在启发读者的同时，锻炼读者分析问题和解决问题的能力。
（3）算法原理，代码实现。在介绍深度学习及相关算法的原理时，不仅给出了对应的公式，还给出了实现和求解公式的代码，让读者明确该算法的作用、输入和输出。原理与代码相结合，使得读者对深度学习的算法实现更加具有亲切感。
（4）深入浅出，精心剖析。理解深度学习需要一定的机器学习知识，本书在D1章介绍了深度学习与机器学习的关系，并简要介绍了机器学习的内容。在内容安排上，每章依次介绍模型框架的应用场景、结构和使用方式，最后通过真实的案例去全面分析该模型结构。目的是让读者可以抓住深度学习的本质。
（5）入门实践，案例重现。每一章最后的真实案例不是直接堆砌代码，而是讲解使用该算法模型的原因和好处。从简单的背景知识出发，使用前文讲解过的深度学习知识实现一个实际的工程项目。实践可以用于及时检验读者对所学知识的掌握程度，为读者奠定深度学习的实践基础。

将一本技术书籍写得通俗易懂谈何容易，但《深度学习原理与实践》这本书确实做到了。书中对近年来火热的深度学习理论知识进行简单剖析，化繁为简，没有局限于坐而论道，而是将实例和数学理论相结合，让读者能够快速理解各种模型并上手实践，值得细读。
--唐春明　广州大学数学与信息学科学院副院长

本书从原理、方法、实践这 3 个维度系统地介绍了深度学习的方方面面，内容详实，解读清晰，细节与全貌兼顾，既适合初学者阅读，也可以作为深入研究的参考用书。
--杨刚　西安电子科技大学教授

近年来出版的深度学习相关图书中，本书是我见过非常有指导意义的中文书籍之一。本书对 ANN、CNN、RNN 等模型进行深入浅出的介绍，引入大量图例和简化后的公式，让算法浅显易懂。每一章的实践内容都给人惊喜，强烈推荐！
--吴健之　腾讯音乐高级工程师

作为产品经理，我能看懂的深度学习书籍实在太少了。本书恰到好处，插图丰富直观，数学公式简练，很喜欢此类风格的图书，易懂好学。即使你不是程序员或算法专家，该书也值得一看！
--张瑞　中软国际高级产品经理

第 1章　初探深度学习　　1
1．1　什么是深度学习　2
1．1．1　机器学习的一般方法　4
1．1．2　选择深度学习的原因　5
1．1．3　深度学习前的思考　6
1．2　深度学习的应用　7
1．3　深度学习的硬件加速器　10
1．3．1　GPU比CPU更适合深度学习　10
1．3．2　GPU硬件选择　13
1．4　深度学习的软件框架　15
1．5　本章小结　19
引用/参考　19
第　2章 人工神经网络　21
2．1　人工神经网络概述　22
2．1．1　历史背景　22
2．1．2　基本单位—神经元　24
2．1．3　线性模型与激活函数　25
2．1．4　多层神经网络　26
2．2　训练与预测　28
2．2．1　训练　28
2．2．2　预测　29
2．3　核心算法　29
2．3．1　梯度下降算法　29
2．3．2　向前传播算法　31
2．3．3　反向传播算法　33
2．4　示例：医疗数据诊断　42
2．4．1　从医疗数据到数学模型　43
2．4．2　准备数据　44
2．4．3　线性分类　45
2．4．4　建立人工神经网络模型　46
2．4．5　隐层节点数对人工神经网络模型的影响　53
2．5　本章小结　55
引用/参考　56
第3章　深度学习基础及技巧　58
3．1　激活函数　59
3．1．1　线性函数　60
3．1．2　Sigmoid函数　61
3．1．3　双曲正切函数　62
3．1．4　ReLU函数　63
3．1．5　Softmax函数　64
3．1．6　激活函数的选择　65
3．2　损失函数　65
3．2．1　损失函数的定义　66
3．2．2　回归损失函数　67
3．2．3　分类损失函数　69
3．2．4　神经网络中常用的损失函数　70
3．3　超参数　71
3．3．1　学习率　71
3．3．2　动量　72
3．4　深度学习的技巧　73
3．4．1　数据集准备　73
3．4．2　数据集扩展　74
3．4．3　数据预处理　76
3．4．4　网络的初始化　81
3．4．5　网络过度拟合　84
3．4．6　正则化方法　85
3．4．7　GPU的使用　88
3．4．8　训练过程的技巧　89
3．5　本章小结　91
引用/参考　92
第4章　卷积神经网络　93
4．1　卷积神经网络概述　94
4．1．1　卷积神经网络的应用　95
4．1．2　卷积神经网络的结构　99
4．1．3　卷积神经网络与人工神经网络的联系　101
4．2　卷积操作　103
4．2．1　滑动窗口卷积操作　104
4．2．2　网络卷积层操作　105
4．2．3　矩阵快速卷积　107
4．3　卷积神经网络三大核心思想　110
4．3．1　传统神经网络的缺点　110
4．3．2　局部感知　111
4．3．3　权值共享　112
4．3．4　下采样　113
4．4　设计卷积神经网络架构　115
4．4．1　网络层间排列规律　116
4．4．2　网络参数设计规律　116
4．5　示例1：可视化手写字体网络特征　117
4．5．1　MNIST手写字体数据库　118
4．5．2　LeNet5网络模型　119
4．5．3　LeNet5网络训练　122
4．5．4　可视化特征向量　124
4．6　示例2：少样本卷积神经网络分类　127
4．6．1　Kaggle猫狗数据库　128
4．6．2　AlexNet模型　130
4．6．3　AlexNet训练　134
4．6．4　AlexNet预测　136
4．6．5　微调网络　137
4．7　本章小结　140
引用/参考　141
第5章　卷积神经网络视觉盛宴　143
5．1　图像目标检测　144
5．1．1　传统目标检测方法　146
5．1．2　基于区域的网络　147
5．1．3　基于回归的网络　157
5．1．4　目标检测小结　163
5．2　图像语义分割　165
5．2．1　传统图像分割方法　165
5．2．2　全卷积神经网络　167
5．2．3　SegNet网络　171
5．2．4　DeepLab网络　173
5．3　示例1：NMS确定候选框　176
5．4　示例2：SS算法提取候选框　179
5．4．1　图像复杂度　179
5．4．2　算法核心思想　180
5．4．3　区域相似度计算　184
5．5　本章小结　189
引用/参考　190
第6章　卷积神经网络进阶示例　192
6．1　示例1：全卷积网络图像语义分割　193
6．1．1　VGG连续小核卷积层　193
6．1．2　VGG网络模型　195
6．1．3　全卷积网络模型　199
6．1．4　全卷积网络语义分割　204
6．2　示例2：深度可视化网络　209
6．2．1　梯度上升法　210
6．2．2　可视化所有卷积层　213
6．2．3　可视化输出层　218
6．2．4　卷积神经网络真能理解视觉吗　219
6．3　示例3：卷积神经网络艺术绘画　220
6．3．1　算法思想　221
6．3．2　图像风格定义　222
6．3．3　图像内容定义　224
6．3．4　算法实现　225
引用/参考　229
第7章　循环神经网络　231
7．1　初识循环神经网络　232
7．1．1　前馈式神经网络的缺点　233
7．1．2　什么是序列数据　234
7．2　循环神经网络的应用　235
7．3　循环神经网络的模型结构　237
7．3．1　序列数据建模　237
7．3．2　基本结构　238
7．3．3　其他结构　239
7．4　循环神经网络的核心算法　241
7．4．1　模型详解　241
7．4．2　向前传播　243
7．4．3　损失函数　245
7．4．4　时间反向传播算法　246
7．4．5　梯度消失与梯度爆炸　251
7．5　示例：使用循环神经网络预测文本数据　254
7．5．1　定义网络模型　254
7．5．2　序列数据预处理　255
7．5．3　准备输入输出数据　258
7．5．4　实现简单的循环神经网络模型　260
7．6　本章小结　263
引用/参考　264
第8章　循环神经网络进阶序列长期记忆　265
8．1　长期依赖问题　266
8．2　长短期记忆网络　269
8．2．1　LSTM网络结构　269
8．2．2　LSTM记忆单元　270
8．2．3　LSTM记忆方式　274
8．3　门控循环单元　274
8．3．1　GRU记忆单元　275
8．3．2　GRU实现　276
8．3．3　GRU与LSTM比较　277
8．4　示例1：神奇的机器翻译　278
8．4．1　基于统计的机器翻译　279
8．4．2　基于神经网络的机器翻译　282
8．4．3　编码-解码模型　283
8．4．4　平衡语料数据集　287
8．4．5　机器翻译的未来　292
8．5　示例2：智能对话机器人　293
8．5．1　Seq2Seq模型　294
8．5．2　Seq2Seq模型的缺点　295
8．5．3　超越Seq2Seq框架　296
8．6　示例3：智能语音识别音箱　299
8．6．1　语音识别框架　300
8．6．2　准备语音数据　302
8．6．3　语音特征提取　306
8．6．4　声学模型　311
8．6．5　语言模型　323
8．6．6　语音识别的展望　323
8．7　本章小结　324
引用/参考　325

深度学习,好书，值得一读,科技,计算机,通俗易懂,人工智能,适合初学者,社会学