基于TensorFlow的深度学习

学习TensorFlow基础，包括如何进行基本运算。

建立简单的学习系统来理解数学基础。

深入理解在数千应用中效果良好的全连接深度网络。

使用超参优化，将原型转换成高质量的模型。

使用卷积神经网络处理图像。

使用循环神经网络处理自然语言数据集。

使用强化学习解决譬如三连棋等游戏。

使用GPU、TPU等硬件训练深度网络。

Bharath Ramsundar是研发主管和DeepChem.io的创始人，DeepChem是一个开源的用于药物发现的Tensorflow包，他博士毕业于斯坦福大学计算机科学专业。

Reza Bosagh Zadeh是Matroid公司CEO、斯坦福大学助理教授，讲授研究生机器学习和算法课程。他的工作兴趣点是机器学习、分布式计算，以及应用离散数学。他建立了Twitter的who-to-follow系统。

作为Google新的深度学习软件库TensorFlow，通过本书可以学习如何解决各种机器学习问题。如果你有一些基本线性代数和微积分的背景，这本实关于机器学习的实践性很强的书展示了如何设计各类系统，包括图像的目标检测、文本理解，以及潜在药物的属性。

本书将向你介绍通过TensorFlow进行机器学习的基础知识。TensorFlow是Google用于深度学习的新软件库，工程师可以直接设计和部署复杂的深度学习架构。你将学习如何使用TensorFlow构建能够检测图像中的对象，理解人类文本及预测潜在药物特性的系统。此外，你将直观地了解TensorFlow执行张量计算的潜力，并将学习如何将TensorFlow用于传统机器学习范围之外的任务。

重要的是，本书是最早为从业者编写的深度学习的书籍之一。它通过实际示例传授基本概念，并从头开始建立对机器学习基础的理解。本书的目标读者是软件开发人员，他们习惯于设计软件系统，但不一定是创建学习系统。有时我们会使用一些基本的线性代数和微积分的知识，不过我们会复习所有必要的基本数学原理，我们可以预见本书将对科学家和其他熟悉脚本编写的专业人员有帮助，但不一定对设计学习算法的人有帮助。

本书约定

本书使用以下排版约定：

斜体（Italic）

表示新术语、URL、电子邮件地址、文件名和文件扩展名。

等宽字体（Constant Width）

表示程序片段，以及正文中出现的用于引用的程序元素，如变量、函数、数据库、数据类型、环境变量、语句和关键字。

等宽粗体（Constant Width bold）

表示需要用户按字面输入的命令或其他文本。

等宽斜体（Constant Width Italic）

表示需要用户输入的值替换的文本或由上下文确定的值。

使用代码示例

本书补充材料（代码示例、练习等）可从https://github.com/matroid/dlwithtf下载。

本书是为了帮助你完成工作。一般说来，如果本书提供了示例代码，你可以在程序和文档中使用它。除非你复制了大部分代码，否则无需与我们联系以获得许可。例如，编写使用本书中几个代码块的程序不需要许可，出售或分发O’Reilly书籍中的示例CD-ROM则需要获得许可；通过引用本书并引用示例代码来回答问题不需要许可；将本书中的大量示例代码合并到产品文档中则需要获得许可。

我们很希望但并不强制要求你在引用本书内容时加上引用说明。引用说明通常包括书名、作者、出版社和 ISBN。例如：“TensorFlow for Deep Learning by Bharath Ramsundar and Reza Bosagh Zadeh (O’Reilly). Copyright 2018 RezaZadeh, Bharath Ramsundar, 978-1-491-98045-3”。

如果你认为对代码示例的使用超出了合理使用范围或上述许可，请随时通过[email protected]与我们联系。

O’Reilly Safari

Safari（之前称为Safari Books Online）是一个基于会员的培训和参考平台，适用企业、政府、教育工作者和个人。

会员可以访问来自250多家出版商的数千本书籍、培训视频、学习路径、互动教程和策划播放列表，包括O’Reilly Media、Harvard Business Review、Prentice Hall Professional、Addison-Wesley Professional、Microsoft Press、Sams、Que 、Peachpit Press、Adobe、Focal Press、Cisco Press、John Wiley＆Sons、Syngress、Morgan Kaufmann、IBM Redbooks、Packt、AdobePress、FT Press、Apress、Manning、New Riders、McGraw-Hill、Jones＆Bartlett和Course Technology等。

要了解更多信息，请访问http://oreilly.com/safari。

联系我们

请把你对本书的意见和疑问发给出版社：

美国：

O'Reilly Media, Inc.

1005 Gravenstein Highway North

Sebastopol, CA 95472

中国：

北京市西城区西直门南大街2号成铭大厦C座807室（100035）

奥莱利技术咨询（北京）有限公司

这本书有专属网页，你可以在那里找到本书的勘误、示例和其他信息。这个网页的地址是http://bit.ly/kubernetes-cookbook。

如果你对本书有一些评论或技术上的建议，请发送电子邮件到[email protected]。

要了解O’Reilly图书、培训课程、会议和新闻的更多信息，请访问我们的网站，地址是：http://www.oreilly.com。

我们的 Facebook：http://facebook.com/oreilly。

我们的 Twitter：http://twitter.com/oreillymedia。

我们的 Youtube：http://www.youtube.com/oreillymedia。

致谢

Bharath非常感谢他的博士生导师让他在晚上和周末都能编写这本书，特别感谢他的家人在整个过程中给予的慷慨支持。

Reza对拥有大量开源软件和计算机技术的开源社区表示感谢，开源软件社区是有史以来最大的人类知识集中地之一，如果没有整个社区的支持，编写这本书是不可能实现的。

前言 1

第1章 深度学习概述 5

1.1 机器学习吞噬计算机科学 .5

1.2 深度学习原型 6

1.3 深度学习架构 10

1.4 深度学习框架 19

1.5 小结 20

第2章 TensorFlow原型概述 21

2.1 张量介绍 21

2.2 TensorFlow中的基本计算 32

2.3 命令式和声明式编程 40

2.4 小结 44

第3章 使用TensorFlow进行线性和Logistic回归 45

3.1 数学回顾 45

3.2 学习TensorFlow 56

3.3 在TensorFlow中训练线性和Logistics模型 66

3.4 小结 78

第4章 全连接深层网络 81

4.1 什么是全连接深层网络？ 81

4.2 全连接网络中的“神经元”.83

4.3 训练全连接神经网络 89

4.4 在TensorFlow中实现 95

4.5 小结 .100

第5章 超参数优化 103

5.1 模型评估与超参数优化 .104

5.2 指标，指标，指标 105

5.3 超参数调优算法 111

5.4 小结 .117

第6章 卷积神经网络 118

6.1卷积结构概述 119

6.2 卷积网络的应用 125

6.3 用TensorFlow训练卷积网络 132

6.4 小结 .144

第7章 递归神经网络 145

7.1 递归结构概述 .146

7.2 循环神经元 148

7.3 递归模型的应用 150

7.4 神经网络图灵机 153

7.5 递归神经网络的实际应用 155

7.6 处理Penn Treebank语料库 155

7.7 小结 163

第8章 强化学习 164

8.1 马尔科夫决策过程 .168

8.2 强化学习算法 .170

8.3 强化学习的局限性 .174

8.4 玩转tic-tac-toe 175

8.5 A3C算法 187

8.6 小结 .196

第9章 训练大型深度网络 .198

9.1 为深度网络自定义硬件 .198

9.2 使用CPU训练 199

9.3 分布式深度网络训练 204

9.4 在Cifar10上与多GPS进行数据并行训练 206

9.5 小结 .215

第10章 深度学习的未来 216

10.1 技术行业以外的深度学习 .216

10.2 道德地使用深度学习 219

10.3 通用人工智能是否迫在眉睫？ .221

10.4 接下来，何去何从？ 222