Python与神经网络实战

人工智能已成发展趋势，而深度学习则是其中*有用的工具之一。虽然科技发展速度迅猛，现在实用技术更新换代的频率已经迅速到以周来计算，但是其背后*为基础的知识却是共通的。本书较为全面地介绍了神经网络的诸多基础与进阶的技术，同时还介绍了如何利用神经网络来解决真实世界中的现实任务。本书各章的内容不仅包括经典的传统机器学习算法与神经网络的方方面面，还对它们进行了对比与创新。如果能够掌握本书所讲述的知识，相信即使具体的技术更新得再快，读者也能根据本书所介绍的知识来快速理解、上手与改进它们。 本书兼顾了理论与实践，不仅从公式上推导出神经网络的各种性质，也从实验上对它们进行了验证，比较适合初学者进行学习。同时，本书所给出的框架更能直接、简单、快速地应用在实际任务中，适合相关从业人员使用。

何宇健，广受读者好评的《Python与机器学习实战》一书作者，来自北京大学数学系，有多年Python开发经验，在GitHub上拥有并维护着一个纯Python编写的机器学习算法库（386个stars，264个forks）。对机器学习、神经网络及它们在量化投资方面的应用有深入研究。曾在创新工场AI工程院负责研发适用于结构化数据的新型神经网络、序列预测算法的抽象框架以及基于模型的自动特征工程。

很丰富：包括10种算法，13个常用的真实样例

很实战：全书有25个完整实验，9539行代码

很扎实：通过822个公式，让你理解神经网络的来龙去脉

很创新：笔者原创的软剪枝技术，能应用于各种神经网络模型

前 言

我在写完前一本书—《Python与机器学习实战》之后，承蒙出版社青睐，被寄予了在某个领域深入剖析并再写一本书的希望。而当时（2017年年中）恰好是一个非常特殊的时间点—那正是人工智能概念席卷全球，成为当之无愧的“引爆点”的前夕。我在上一本书的前言里曾经说过，自从AlphaGo在2016年3月战胜人类围棋顶尖高手李世石后，“人工智能”“深度学习”这一类词汇就进入了大众的视野；而作为更加宽泛的一个概念—“机器学习”则多少顺势成为从学术界到工业界都相当火热的话题，这也正是我上一本书的主题为机器学习的重要原因之一。而在2017年年中时，由于我从方方面面的资料与新闻中都隐隐约约地感受到了深度学习的巨大潜力，所以就和出版社定好了这本书的主题—神经网络。神经网络本身是一个非常宽泛的概念，它既能代指最基础的“全连接神经网络（DNN）”（需要指出的是，DNN原本泛指Deep Neural Network，即泛指深层神经网络，不过简洁起见，在本书中我们统一认定它特指全连接神经网络），也能代指当今在各种领域大放异彩的“卷积神经网络（CNN）”和“循环神经网络（RNN）”。本书将主要叙述的是“全连接神经网络（DNN）”及其变体，且其中涉及的技术也能应用在“卷积神经网络（CNN）”和“循环神经网络（RNN）”中。也正因此，在本书的正文中，我们会统一认定“神经网络”代指的是DNN；但是大家需要知道的是，在前言这里我们会用“神经网络”代指DNN、CNN与RNN的集合，而在本书以外的场合，虽然说起“神经网络”大家一般都会认为说的是DNN，但也有可能不单单代指DNN。

那么，为什么我选择了“神经网络”这个主题呢？简单来说，神经网络是深度学习的“前身”或说“基础”，因为深度学习往简单里说的话，其实就是“比较深的神经网络”。此外，对于本书将主要叙述的DNN来说，它和我上一本书中介绍的诸多传统机器学习算法也有千丝万缕的关系；通过两者之间的相互对比，想必大家能对它们都有更深刻的理解，同时也能打下更坚实的基础。

那么，为什么我选择了这种偏基础的主题而不是一些更具体的主题（比如说图像识别、自然语言处理、推荐系统、强化学习）呢？毕竟在有了各种深度学习工具之后，DNN作为“老前辈”一般的存在，基本只能解决一些结构化数据的问题，而且解决得通常可能还没有传统的机器学习模型好。这主要出于两个考虑：一是我做的研究本身普遍偏基础，落实到具体的应用时也只是基础方法的具体应用，而非针对具体的应用做的优化；另一方面则是我个人认为，深度学习一旦兴旺起来，各种技术的迭代速度必定是极快的。这是因为深度学习之所以没能获得发展，相当大的原因是受了硬件设备与数据量的制约，一旦这两个制约被打破，那么至少在我看来，它就会以一个月甚至一周的迭代周期来“优胜劣汰”。在这种情况下，即使我花了比较大的力气去介绍我写书时最流行、最有效的技术，等到读者们拿到书时，这些技术很有可能已经没那么流行甚至过时了。总而言之，由于深度学习在我期望中的发展速度过快，所以我没敢向具体的技术下手。

有意思的是，时至今日（2018年年初），深度学习果然如我所料，几乎可以算是进入了“一周一个新技术”的发展阶段，各大公司的新产品日新月异、层出不穷，这让我为当初选择了基础性的主题而感到庆幸。因为无论具体领域的具体应用技术如何发展，它们背后最本质、最基础的知识都是不会变的。如果能掌握这些基础性的知识，那么在接受各种蜂拥而至的新技术时，想必也会轻松不少吧。

当然，由于我们的目的还是想让读者能够学以致用，所以虽然本书的主题偏基础，但是我们也会花篇幅来介绍如何将这些基础性的知识进行具体的应用。事实上，我们只会在前5章介绍理论上的知识，而第6章和第7章，则都是在介绍如何编写能够应用于现实任务中的框架。此外，本书的代码实现都是偏工程化的，所以大部分核心代码可能会比较长。这是因为我们想要传达的是一种大规模编程下的优良习惯，比如可拓展性、可迁移性、用户友好性等，所以有些地方的实现相比起纯算法实现而言可能会显得略微冗长。不过在我看来，在实际任务中，其实一般很少能够仅仅编写纯算法实现，大部分情况下都需要融合进其他内容，所以相信本书的实现方式能够帮助大家适应今后现实中的情景。

此外需要指出的是，囿于篇幅，本书无法将所有代码悉数放出（事实上这样做的意义也不是很大），所以我们会适当地略去一些相对枯燥且和相应算法的核心思想关系不大、又或是测试代码的实现。对于这些代码以及本书展示的所有代码，我都把它们放在了GitHub上，大家可以参见https://github.com/carefree0910/MachineLearning/tree/Book/_Dist/NeuralNetworks这个目录中的相应代码。我个人的建议是，在阅读本书之前先把这个链接里面的内容都下载下来作为参照，并在需要的时候通过Ctrl+F组合键进行相应的检索。同时，在本书写完之后，由于我会把收笔时的代码保留在Book这个Branch中，并把后续的更新统一放在master Branch中，所以也可以参见https://github.com/carefree0910/MachineLearning/tree/master/_Dist/NeuralNetworks这个根目录中的代码以获取无法反映在本书中的、最新的更新。

最后想要说的是，与我写的上一本书类似，虽然本书会尽量避免罗列枯燥的数学公式，但是一些比较重要的公式与证明还是不可或缺的。不过考虑到数学基础因人而异，我把一些额外的、类似于“附加证明”的章节打上星号（*）。对于之前学过机器学习、基础比较扎实的读者，阅读这些带星号的章节是比较有益的，因为它们有助于更深刻地理解一些知识背后的理论；而对于零基础或仅想通过本书入门的读者，这些章节可能稍显困难，所以直接把它们跳过也是不错的选择，因为跳过它们不看并不会对理解主要内容造成很大的影响。

本书特点

. 注重基础：本书不仅介绍了神经网络的基础知识（比如前向传导算法、反向传播算法、Dropout、Batch Normalization等），还涵盖了传统的、经典的、基础的机器学习算法（朴素贝叶斯、决策树、支持向量机）的大意以及这些算法与神经网络在本质上的联系。

. 注重创新：本书将会介绍许多属于新颖的、有效的技术。比如第4章中的转换算法，目前市面上的图书中基本没有类似的、面面俱到的介绍；而第5章介绍的神经网络中的软剪枝技术，则更是笔者个人的研究，可以说是“只此一家”。

. 注重应用：本书最后两章将会着重介绍如何搭建在现实任务中确实能拿来应用的神经网络框架，该框架不仅兼顾了可扩展性，也兼顾了用户友好性，能在各个领域中发挥作用。

. 注重基础：本书中的所有代码实现沿袭了上一本书的传统，基本都是“从零开始”。也正因此，所涉及的核心实现大多仅仅基于一些基础的第三方库（如numpy、TensorFlow）而没有依赖更高级的第三方库，这使得我们能够通过代码实现来辅助理解算法细节。

本书的内容安排

第1章 绪论

本章介绍了一些基本概念与基础术语，这些内容虽然可能略显乏味，但却是跨入业界必须掌握的知识。本章的篇幅很短，内容相对浓缩，对于零基础的读者可能会需要花一些时间去消化，对于有基础的读者则是比较好的知识唤醒。

第2章 经典传统机器学习算法简介

本章将会精要介绍5个经典的传统机器学习算法—朴素贝叶斯、决策树、感知机、支持向量机和Logistic回归，介绍的方式偏向于直观叙述，旨在让大家更好地从原理而不是从细节上去理解这些算法。虽然本书的主题是（全连接）神经网络，但是了解这些传统的机器学习算法是有必要的，它们不仅能给我们解决实际问题的思维，也能佐证神经网络的强大。

第3章 神经网络入门

本章是神经网络的入门章节，旨在全面且较为深刻地叙述神经网络的各项技术要点，包括神经网络的结构、激活函数、损失函数、前向传导算法、反向传播算法、梯度下降法的各式变体、搭建TensorFlow模型基本框架的诸多注意事项等。如果能够将本章的所有内容都深刻理解的话，相信不仅能对神经网络有比较扎实的认知，也能对TensorFlow这个深度学习框架有更好的认知，这对今后的各种实际应用是大有裨益的。

第4章 从传统算法走向神经网络

本章通过将神经网络与第2章所介绍的各式传统机器学习算法做对比，以此来帮助大家加深对这些传统机器学习算法和神经网络的理解。我们将会看到，即使是最朴素的神经网络，就已经能够自然地表达出感知机、支持向量机和Logistic回归这三种模型，而且只要通过定制它的权值矩阵与偏置量，甚至还能够表达出几乎任意的朴素贝叶斯模型与决策树模型。此外，这种表达还有着一定的现实意义，并不仅仅是理论上的技巧。

第5章 神经网络进阶

本章是神经网络的进阶章节，旨在介绍一些能够提升朴素神经网络性能的技术，包括Dropout、Batch Normalization、Wide and Deep、Deep Neural Decision Forest、Dynamic Network Surgery以及软剪枝技术等。这些技术并不是一个个独立的技术，在经过适当整合之后，从理论和实验效果来看都会拥有许多有趣且有用的性质。

目 录

第1章 绪论 1
1．1 机器学习简介 2
1．1．1 什么是机器学习 2
1．1．2 机器学习常用术语 3
1．2 Python简介 9
1．2．1 Python的优势 10
1．2．2 scikit-learn和TensorFlow 11
1．3 前期准备 13
1．3．1 训练、交叉验证与测试 13
1．3．2 简易数据预处理 14
1．4 本章小结 15

第2章 经典传统机器学习算法简介 17
2．1 朴素贝叶斯 17
2．1．1 条件独立性假设 18
2．1．2 贝叶斯思维 19
2．1．3 模型算法 20
2．1．4 实例演示 23
2．1．5* 参数估计 25
2．1．6* 朴素贝叶斯的改进 28
2．2 决策树 33
2．2．1 决策的方法 33
2．2．2 决策树的生成 34
2．2．3 决策树的剪枝 39
2．2．4 实例演示 40
2．2．5* 决策树的三大算法 40
2．2．6* 数据集的划分 45
2．2．7* 决策树与回归 48
2．3 支持向量机 ． 50
2．3．1 分离超平面与几何间隔 50
2．3．2* 感知机与SVM的原始形式 58
2．3．3 梯度下降法 62
2．3．4* 核技巧 70
2．3．5 实例演示 75
2．4 Logistic回归 75
2．5 本章小结 76

第3章 神经网络入门 77
3．1 神经网络的结构 78
3．2 前向传导算法 80
3．2．1 算法概述 81
3．2．2 算法内涵 83
3．2．3 激活函数 85
3．2．4 损失函数 90
3．3* 反向传播算法 92
3．3．1 算法概述 92
3．3．2 损失函数的选择 94
3．4 参数的更新 98
3．4．1 Vanilla Update 99
3．4．2 Momentum Update 99
3．4．3 Nesterov Momentum Update 100
3．4．4 AdaGrad 100
3．4．5 RMSProp 101
3．4．6 Adam 101
3．5 TensorFlow模型的基本框架 101
3．5．1 TensorFlow的组成单元与基本思想 102
3．5．2 TensorFlow模型的基本元素 104
3．5．3 TensorFlow元素的整合方法 114
3．5．4 TensorFlow模型的save ＆ load 125
3．6 朴素神经网络的实现与评估 130
3．7 本章小结 138

第4章 从传统算法走向神经网络 139
4．1 朴素贝叶斯的线性形式 139
4．2 决策树生成算法的本质 145
4．2．1 第1隐藏层→决策超平面 147
4．2．2 第2隐藏层→决策路径 148
4．2．3 输出层→叶节点 150
4．2．4 具体实现 151
4．3 模型转换的实际意义 158
4．3．1 利用Softmax来赋予概率意义 159
4．3．2 利用Tanh+Softmax来“软化”模型 160
4．3．3 通过微调来缓解“条件独立性假设” 165
4．3．4 通过微调来丰富超平面的选择 165
4．3．5 模型逆转换的可能性 171
4．4 模型转换的局限性 172
4．5 本章小结 172

第5章 神经网络进阶 174
5．1 层结构内部的额外工作 175
5．1．1 Dropout 175
5．1．2 Batch Normalization 176
5．1．3 具体实现 180
5．2 “浅”与“深”的结合 181
5．2．1 离散型特征的处理方式 181
5．2．2 Wide and Deep模型概述 183
5．2．3 Wide and Deep的具体实现 185
5．2．4 WnD的重要思想与优缺点 194
5．3 神经网络中的“决策树” 195
5．3．1 DNDF结构概述 195
5．3．2* DNDF的具体实现 199
5．3．3 DNDF的应用场景 210
5．3．4* DNDF的结构内涵 213
5．4 神经网络中的剪枝 216
5．4．1 Surgery算法概述 216
5．4．2 Surgery算法改进 218
5．4．3 软剪枝的具体实现 221
5．4．4* 软剪枝的算法内涵 223
5．5 AdvancedNN的结构设计 237
5．5．1 AdvancedNN的实现补足 237
5．5．2 WnD与DNDF 239
5．5．3 DNDF与剪枝 241
5．5．4 剪枝与Dropout 242
5．5．5 没有免费的午餐 242
5．6 AdvancedNN的实际性能 243
5．7 本章小结 251

第6章 半自动化机器学习框架 253
6．1 数据的准备 254
6．1．1 数据预处理的流程 254
6．1．2 数据准备的流程 256
6．2 数据的转换 264
6．2．1 数据的数值化 264
6．2．2 冗余特征的去除 266
6．2．3 缺失值处理 269
6．2．4 连续型特征的数据预处理 272
6．2．5 特殊类型数据的处理 274
6．3 AutoBase的实现补足 277
6．4 AutoMeta的实现 281
6．5 训练过程的监控 288
6．5．1 监控训练过程的原理 288
6．5．2 监控训练的实现思路 292
6．5．3 监控训练的具体代码 293
6．6 本章小结 299

第7章 工程化机器学习框架 301
7．1 输出信息的管理 301
7．2 多次实验的管理 309
7．2．1 多次实验的框架 312
7．2．2 多次实验的初始化 314
7．2．3 多次实验中的数据划分 316
7．2．4 多次实验中的模型评估 318
7．2．5 多次实验的收尾工作 321
7．3 参数搜索的管理 321
7．3．1 参数搜索的框架 322
7．3．2* 随机搜索与网格搜索 329
7．3．3 参数的选取 334
7．3．4 参数搜索的收尾工作 335
7．3．5 具体的搜索方案 335
7．4 DistAdvanced的性能 337
7．5 本章小结 344

附录A SVM的TensorFlow实现 345
附录B numba的基本应用 352
附录C 装饰器的基本应用 359
附录D 可视化 363
附录E 模型的评估指标 370
附录F 实现补足 377