机器学习实战：基于Scikit-Learn、Keras和TensorFlow（原书第2版）

这本机器学习畅销书基于TensorFlow 2和Scikit-Learn的新版本进行了全面更新，通过具体的示例、非常少的理论和可用于生产环境的Python框架，从零帮助你直观地理解并掌握构建智能系统所需要的概念和工具。

全书分为两部分。第一部分介绍机器学习基础，涵盖以下主题：什么是机器学习，它试图解决什么问题，以及系统的主要类别和基本概念；第二部分介绍神经网络和深度学习，涵盖以下主题：什么是神经网络以及它们有什么用，使用TensorFlow和Keras构建和训练神经网络的技术，以及如何使用强化学习构建可以通过反复试错，学习好的策略的代理程序。第一部分主要基于Scikit-Learn，而第二部分则使用TensorFlow和Keras。

通过本书，你会学到一系列可以快速使用的技术。每章的练习可以帮助你应用所学的知识，你只需要有一些编程经验。所有代码都可以在GitHub上获得。

代码获取方式：

1、微信关注“华章计算机”

2、在后台回复关键词：新版蜥蜴书

奥雷利安·杰龙（Aurélien Géron）是机器学习方面的顾问。他曾就职于Google，在2013年到2016年领导过YouTube视频分类团队。他是Wifirst公司的创始人并于2002年至2012年担任该公司的首席技术官。2001年，他创办Ployconseil公司并任首席技术官。

适读人群 ：1、机器学习、深度学习从业者； 2、机器学习或者深度学习算法工程师； 3、从初级到高级的各级学生、教师、研究人员； 4、其他对机器学习和Scikit-Learn、Keras、TensorFlow感兴趣的人员

点击查看第一版

1）“美亚”人工智能图书畅销榜首图书，基于TensorFlow 2和Scikit-Learn的新版本全面升级；

2）Keras之父和TensorFlow移动端负责人鼎力推荐；

3）从实践出发，通过具体的示例、较少的理论和可用于生产环境的Python框架来帮助你直观地理解并掌握构建智能系统所需要的概念和工具；

4）实用性强。没有太多复杂的数学公式推导，每章都附有练习题和代码，可以帮助你应用所学的知识。

◆推荐序◆

最近几年人工智能技术的突破性进展，比如AlphaGo战胜围棋世界冠军柯洁，Waymo开始部署自动驾驶出租车，都表明深度学习极大地推动了整个机器学习的发展。现在，即使对深度学习技术几乎一无所知的工程师和程序员，也可以使用简单而有效的工具来实现从数据中学习的复杂应用程序。本书就向你展示了具体应该如何来实现各种人工智能的应用，如计算机视觉、自然语言处理等。

本书作者是一位出色的机器学习顾问和培训师，前Google 资深工程师，从2013年至2016 年领导YouTube的视频分类团队，不仅具有深厚的理论功底，还有最前沿的工业界实战操作经验。作者通过使用简洁的理论和细致具体的示例，运用两个Python 框架（Scikit-Learn和 TensorFlow/Keras），帮助你直观地了解构建智能系统的相关概念和工具。你将从本书中学到各种机器学习技术（从简单的线性回归到各种神经网络结构）。每章都附有练习题，可以帮助你应用所学的知识，你所需要的只是编程练习。

本书内容广博，覆盖了机器学习的各个领域，不仅介绍了传统的机器学习模型，包括支持向量机、决策树、随机森林和集成方法，还提供了使用Scikit-Learn 进行机器学习的端到端训练示例。作者尤其对深度神经网络进行了深入的探讨，包括各种神经网络架构（如卷积神经网络、递归神经网络等）、强化学习，以及如何使用TensorFlow/Keras 库来构建和训练神经网络。

本书英文版在Amazon 上的评分是4.7 分（满分 5 分），近 90% 的读者给予了5 星好评， 在国内豆瓣读书上也得到 91.5% 的读者的5 星好评，国内外同时有这么高的好评率，足以证明本书的价值及其良好可读性。

如果你正打算学习机器学习和深度学习，正在寻求一个切入点，那么我强烈建议你把本书当作入门教材。需要使用机器学习或者深度学习算法解决实际问题的工程师可将本书当作实战手册，它可以让你了解很多深度学习的最新研究成果和实用技巧。

张明清

布朗大学计算机系博士，

纽约州立大学阿尔巴尼分校计算机科学系副教授，

计算机视觉和机器学习实验室（CVML Lab）主任，

前通用电气公司全球研发中心计算机视觉实验室首席计算机科学家

译者序

随着AlphaGo在人机大战中一举成名，关于人工智能的研究开始广受关注，人工智能科学家也一跃成为“21 世纪热门的人才”。人工智能，特别是机器学习和深度神经网络的广泛应用虽然兴起不久，但是对这两个密切关联的领域的研究其实已经持续了好几十年，早已形成了系统化的知识体系。对于想要踏入机器学习和深度学习领域的初学者和工程师而言，一本理论和实践相结合的书籍是必不可少的，本书就是这样一本书。

本书分为两部分：第一部分介绍机器学习的基础知识；第二部分介绍神经网络与深度学 习。附录部分的内容也非常丰富。本书兼顾理论与实战，既适合在校学生，又适合有经验的工程师。

从理论上讲，本书最大的特色就是有深度，覆盖面广，但是书中并没有太多复杂的数学公式推导，很容易看懂。这在现在很多机器学习书籍中是不多见的。

从实战来说，本书使用了当前热门的机器学习框架Scikit-Learn及深度学习框架 TensorFlow和Keras，每一章都配备相应的项目示例，代码的实操性和可读性非常好。本书也是为有经验的工程师而写的，是一本实用指南。特别是附录 B 给出的机器学习项目清单，如果工业界想做一套机器学习的解决方案，完全可以按照这个清单去做。

读者朋友可能非常关心第2 版相比第1 版有何区别，作者在第2 版中不仅重写了大部分章节，还增加了很多机器学习的前沿知识，代码示例采用了 Keras 深度学习框架。

作者将本书所有章节的详细代码都发布在GitHub 上。项目地址为：

https://github.com/ageron/handson-ml2。

译者现在在比利时某科研机构从事深度学习处理器、嵌入式实时人工智能、计算机视觉 和深度学习异构平台上的编程框架等研究工作，虽有多年的机器学习和计算机视觉研究和开发经验，但本书中所涉及的专业术语与概念较多，部分概念及术语尚无公认的中文译法，因此我们参考了一些网络上和研究论文中常用的译法。在翻译过程中虽然力求准确地反映原著内容，但由于译者水平有限，可能有错误或者遗漏之处，恳请读者批评指正。读者可以通过电子邮件[email protected]和译者取得联系。

感谢机械工业出版社华章公司的编辑们，特别是刘锋编辑，他们为保证本书的质量做了 大量的编辑和审校工作，在此深表谢意。

还要感谢Ivannie，她在我翻译本书的过程中，给了我最大的快乐。

宋能辉

前言1

第一部分 机器学习的基础知识11

第1章 机器学习概览13

1.1 什么是机器学习14

1.2 为什么使用机器学习14

1.3 机器学习的应用示例16

1.4 机器学习系统的类型18

1.5 机器学习的主要挑战32

1.6 测试与验证38

1.7 练习题40

第2章 端到端的机器学习项目42

2.1 使用真实数据42

2.2 观察大局44

2.3 获取数据48

2.4 从数据探索和可视化中获得洞见60

2.5 机器学习算法的数据准备66

2.6 选择和训练模型74

2.7 微调模型77

2.8 启动、监控和维护你的系统82

2.9 试试看84

2.10 练习题84

第3章 分类86

3.1 MNIST86

3.2 训练二元分类器88

3.3 性能测量89

3.4 多类分类器99

3.5 误差分析101

3.6 多标签分类104

3.7 多输出分类105

3.8 练习题107

第4章 训练模型108

4.1 线性回归109

4.2 梯度下降113

4.3 多项式回归122

4.4 学习曲线124

4.5 正则化线性模型127

4.6 逻辑回归134

4.7 练习题141

第5章 支持向量机143

5.1 线性SVM分类143

5.2 非线性SVM分类146

5.3 SVM回归151

5.4 工作原理152

5.5 练习题160

第6章 决策树162

6.1 训练和可视化决策树162

6.2 做出预测163

6.3 估计类概率165

6.4 CART训练算法166

6.5 计算复杂度166

6.6 基尼不纯度或熵167

6.7 正则化超参数167

6.8 回归168

6.9 不稳定性170

6.10 练习题172

第7章 集成学习和随机森林173

7.1 投票分类器173

7.2 bagging和pasting176

7.3 随机补丁和随机子空间179

7.4 随机森林180

7.5 提升法182

7.6 堆叠法190

7.7 练习题192

第8章 降维193

8.1 维度的诅咒194

8.2 降维的主要方法195

8.3 PCA198

8.4 内核PCA204

8.5 LLE206

8.6 其他降维技术208

8.7 练习题209

第9章 无监督学习技术211

9.1 聚类212

9.2 高斯混合模型232

9.3 练习题245

第二部分 神经网络与深度学习247

第10章 Keras人工神经网络简介249

10.1 从生物神经元到人工神经元250

10.2 使用Keras实现MLP262

10.3 微调神经网络超参数284

10.4 练习题290

第11章 训练深度神经网络293

11.1 梯度消失与梯度爆炸问题293

11.2 重用预训练层305

11.3 更快的优化器310

11.4 通过正则化避免过拟合321

11.5 总结和实用指南327

11.6 练习题329

第12章 使用TensorFlow自定义模型和训练330

12.1 TensorFlow快速浏览330

12.2 像NumPy一样使用TensorFlow333

12.3 定制模型和训练算法338

12.4 TensorFlow函数和图356

12.5 练习题360

第13章 使用TensorFlow加载和预处理数据362

13.1 数据API363

13.2 TFRecord格式372

13.3 预处理输入特征377

13.4 TF Transform385

13.5 TensorFlow数据集项目386

13.6 练习题388

第14章 使用卷积神经网络的深度计算机视觉390

14.1 视觉皮层的架构390

14.2 卷积层392

14.3 池化层399

14.4 CNN架构402

14.5 使用Keras实现ResNet-34 CNN416

14.6 使用Keras的预训练模型417

14.7 迁移学习的预训练模型418

14.8 分类和定位421

14.9 物体检测422

14.10 语义分割428

14.11 练习题431

第15章 使用RNN和CNN处理序列432

15.1 循环神经元和层432

15.2 训练RNN436

15.3 预测时间序列437

15.4 处理长序列444

15.5 练习题453

第16章 使用RNN和注意力机制进行自然语言处理455

16.1 使用字符RNN生成莎士比亚文本456

16.2 情感分析464

16.3 神经机器翻译的编码器-解码器网络470

16.4 注意力机制476

16.5 最近语言模型的创新486

16.6 练习题488

第17章 使用自动编码器和GAN的表征学习和生成学习489

17.1 有效的数据表征490

17.2 使用不完整的线性自动编码器执行PCA491

17.3 堆叠式自动编码器493

17.4 卷积自动编码器499

17.5 循环自动编码器500

17.6 去噪自动编码器501

17.7 稀疏自动编码器502

17.8变分自动编码器505

17.9 生成式对抗网络510

17.10 练习题522

第18章 强化学习523

18.1 学习优化奖励524

18.2 策略搜索525

18.3 OpenAI Gym介绍526

18.4 神经网络策略529

18.5 评估动作：信用分配问题531

18.6 策略梯度532

18.7 马尔可夫决策过程536

18.8 时序差分学习540

18.9 Q学习540

18.10 实现深度Q学习544

18.11 深度Q学习的变体547

18.12 TF-Agents库550

18.13 一些流行的RL算法概述568

18.14 练习题569

第19章 大规模训练和部署TensorFlow模型571

19.1 为TensorFlow模型提供服务572

19.2 将模型部署到移动端或嵌入式设备586

19.3 使用GPU加速计算589

19.4 跨多个设备的训练模型600

19.5 练习题613

19.6 致谢613

附录A 课后练习题解答614

附录B 机器学习项目清单642

附录C SVM对偶问题647

附录D 自动微分650

附录E 其他流行的人工神经网络架构656

附录F 特殊数据结构663

附录G TensorFlow图669