Tensorflow：实战Google深度学习框架

TensorFlow是谷歌2015年开源的主流深度学习框架，目前已在谷歌、优步（Uber）、京东、小米等科技公司广泛应用。《TensorFlow：实战Google深度学习框架》为使用TensorFlow深度学习框架的入门参考书，旨在帮助读者以更快、更有效的方式上手TensorFlow和深度学习。书中省略了深度学习繁琐的数学模型推导，从实际应用问题出发，通过具体的TensorFlow样例程序介绍如何使用深度学习解决这些问题。《TensorFlow：实战Google深度学习框架》包含了深度学习的入门知识和大量实践经验，是走进这个更新、更火的人工智能领域的推荐参考书。

郑泽宇，现为才云科技（Caicloud.io）联合创始人、首席大数据科学家。针对分布式TensorFlow上手难、管理难、监控难、上线难等问题，他带领团队成功开发了国内成熟的分布式TensorFlow深度学习平台（TensorFlow as a Service）先河。基于此平台，才云大数据团队为安防、电商、金融、物流等多个行业提供有针对性的人工智能解决方案。归国创业之前，郑泽宇曾任美国谷歌高级工程师。从2013 年加入谷歌，郑泽宇作为主要技术人员参与并领导了多个大数据项目。由他提出并主导的产品聚类项目用于衔接谷歌购物和谷歌知识图谱（knowledge graph）数据，使得知识卡片形式的广告逐步取代传统的产品列表广告，开启了谷歌购物广告在搜索页面投递的新纪元。郑泽宇于2011年5月获得北京大学计算机学士学位，并荣获北京大学信息科学技术学院十佳优秀毕业论文、北京大学优秀毕业生。2013年5月获得美国 Carnegie Mellon University（CMU）大学计算机硕士学位，并获得西贝尔奖学金 (Siebel Scholarship)。郑泽宇在机器学习、人工智能领域有多年研究经验，并在SIGIR、SIGKDD、ACL、ICDM、ICWSM等国际会议上发表多篇学术论文。

√ 作者为前谷歌专家，现Tensorflow创业新星，醉心深度学习研究。

√ Tensorflow已从前瞻性黑科技成长为主流方案，本书旨在面向生产与商业场景，彻底贯通原理与实践。

√ BAT一线团队与各大基于AI、ML的技术公司争相赞誉力荐，本书与Tensorflow一道走向事实标准。

√ 深入技术原理，走访主创团队，结合真实项目，倾力呈现一手资料，深度剖析一线实战。

“深度学习”这个词在过去的一年之中已经轰炸了媒体、技术博客甚至到朋友圈。这也许正是你会读到本书的原因之一。数十年来，人工智能技术虽不断发展，但像深度学习这样在学术界和工业界皆具颠覆性的技术着实十年难遇。可惜的是，理解和灵活运用深度学习并不容易，尤其是其复杂的数学模型，让不少感兴趣的同学“从入门到放弃”。更糟糕的是，因为深度学习技术的飞速发展，而写书、出版的过程又非常复杂，不论是英文还是中文，都很难找到从实战出发的深度学习参考书。关于当前最新最火的深度学习框架TensorFlow的书籍更是空缺。这正是我在工作之余，熬夜写这本书的动力。作者本人作为一枚标准码农、创业党，希望这本书能够帮助码农和准码农们绕过深度学习复杂的数据公式，通过本书的大量样例代码快速上手深度学习，解决工作、学习中的实际问题。

2016年初，作者和小伙伴们从美国谷歌辞职，回到祖国杭州联合创办了才云科技（Caicloud.io），为企业提供大数据深度学习，在作者回国之初，很多企业都展示出了对于TensorFlow浓厚的兴趣。然而在深度交流之后，作者发现虽然TensorFlow是一款非常容易上手的工具，但是深度学习的技术目前并不是每一个企业都掌握的。为了让更多的个人和企业可以享受到深度学习技术带来的福利，作者与电子工业出版社的张春雨主编一拍即合，开始了本书的撰写工作。

使用TensorFlow实现深度学习是本书重点介绍的对象。本书将从TensorFlow的安装开始，逐一介绍TensorFlow的基本概念、使用TensorFlow实现全连接深层神经网络、卷积神经网络和循环神经网络等深度学习算法。在介绍使用TensorFlow实现不同的深度学习算法的同时，作者也深入浅出地介绍了这些深度学习算法背后的理论，并给出了这些算法可以解决的具体问题。在本书中，作者避开了枯燥复杂的数学公式，从实际问题出发，在实践中介绍深度学习的概念和TensorFlow的用法。在本书中，作者还介绍了TensorFlow并行化输入数据处理流程、TensorBoard可视化工具以及带GPU的分布式TensorFlow使用方法。

TensorFlow是一个飞速发展的工具。本书在写作时最新的版本为0.9.0，然而到本书出版时，谷歌已经推出了TensorFlow 1.0.0。为了让广大读者更好的理解和试用书中的样例代码，我们提供了一个公开的GitHub代码库来维护不同TensorFlow版本的样例程序。该代码库的网址为https://github.com/caicloud/tensorflow-tutorial。在Caicloud提供的TensorFlow镜像cargo.caicloud.io/tensorflow中也包含了本书的样例代码。作者衷心地希望各位读者能够从本书获益，这也是对我们最大的支持和鼓励。对于书中出现的任何错误或者不准确的地方，欢迎大家批评指正，并发送邮件至[email protected]。

读者也可登录博文视点官网http://www.broadview.com.cn下载本书代码或提交勘误信息。一旦勘误信息被作者或编辑确认，即可获得博文视点奖励积分，可用于兑换电子书。读者可以随时浏览图书页面，查看已发布的勘误信息。

致谢

在此我特别感谢为此书做出贡献的每一个人。感谢每一位读者，希望书里的干货值得您宝贵的精力投入。要记得好评哦，亲！

首先，我要感谢才云科技（Caicloud.io）小伙伴们对我的大力支持。在紧张的创业环境中，CEO张鑫给了我极大的支持和鼓励，让我有足够的时间投入到本书中。特别感谢为此书完成校验以及代码整理工作的数据工程师易明轩，为此书提出宝贵意见的大数据科学家何辉辉以及才云科技TensorFlow as a Service的产品开发者李恩华。

然后，我要感谢我的妻子温苗苗。作为本书的第一读者和美国卡内基梅隆大学（Carnegie Mellon University）计算机专业博士，从最开始的内容安排到写作语言细节，与她的讨论给我带来很多灵感。

我要感谢我的父母、岳父母，没有他们一直以来的支持和帮助，我不可能完成此书的写作。每当遇到困难的时候，长辈们的鼓励是我前进的最大动力。

最后，我要感谢电子工业出版社的张春雨编辑。无论在该书的定位上还是在具体的文字细节上，张编辑都给了我非常多的建议。兵贵神速，写书亦是如此。没有张春雨精确的策划和及时的敦促，我也很难一鼓作气完成此书。

郑泽宇

2017年1月

第1章 深度学习简介 1

1.1 人工智能、机器学习与深度学习 2

1.2 深度学习的发展历程 7

1.3 深度学习的应用 10

1.3.1 计算机视觉 10

1.3.2 语音识别 14

1.3.3 自然语言处理 15

1.3.4 人机博弈 18

1.4 深度学习工具介绍和对比 19

小结 23

第2章 TensorFlow环境搭建 25

2.1 TensorFlow的主要依赖包 25

2.1.1 Protocol Buffer 25

2.1.2 Bazel 27

2.2 TensorFlow安装 29

2.2.1 使用Docker安装 30

2.2.2 使用pip安装 32

2.2.3 从源代码编译安装 33

2.3 TensorFlow测试样例 37

小结 38

第3章 TensorFlow入门 40

3.1 TensorFlow计算模型——计算图 40

3.1.1 计算图的概念 40

3.1.2 计算图的使用 41

3.2 TensorFlow数据模型——张量 43

3.2.1 张量的概念 43

3.2.2 张量的使用 45

3.3 TensorFlow运行模型——会话 46

3.4 TensorFlow实现神经网络 48

3.4.1 TensorFlow游乐场及神经网络简介 48

3.4.2 前向传播算法简介 51

3.4.3 神经网络参数与TensorFlow变量 54

3.4.4 通过TensorFlow训练神经网络模型 58

3.4.5 完整神经网络样例程序 62

小结 65

第4章 深层神经网络 66

4.1 深度学习与深层神经网络 66

4.1.1 线性模型的局限性 67

4.1.2 激活函数实现去线性化 70

4.1.3 多层网络解决异或运算 73

4.2 损失函数定义 74

4.2.1 经典损失函数 75

4.2.2 自定义损失函数 79

4.3 神经网络优化算法 81

4.4 神经网络进一步优化 84

4.4.1 学习率的设置 85

4.4.2 过拟合问题 87

4.4.3 滑动平均模型 90

小结 92

第5章 MNIST数字识别问题 94

5.1 MNIST数据处理 94

5.2 神经网络模型训练及不同模型结果对比 97

5.2.1 TensorFlow训练神经网络 97

5.2.2 使用验证数据集判断模型效果 102

5.2.3 不同模型效果比较 103

5.3 变量管理 107

5.4 TensorFlow模型持久化 112

5.4.1 持久化代码实现 112

5.4.2 持久化原理及数据格式 117

5.5 TensorFlow最佳实践样例程序 126

小结 132

第6章 图像识别与卷积神经网络 134

6.1 图像识别问题简介及经典数据集 135

6.2 卷积神经网络简介 139

6.3 卷积神经网络常用结构 142

6.3.1 卷积层 142

6.3.2 池化层 147

6.4 经典卷积网络模型 149

6.4.1 LeNet-5模型 150

6.4.2 Inception-v3模型 156

6.5 卷积神经网络迁移学习 160

6.5.1 迁移学习介绍 160

6.5.2 TensorFlow实现迁移学习 161

小结 169

第7章 图像数据处理 170

7.1 TFRecord输入数据格式 170

7.1.1 TFRecord格式介绍 171

7.1.2 TFRecord样例程序 171

7.2 图像数据处理 173

7.2.1 TensorFlow图像处理函数 174

7.2.2 图像预处理完整样例 183

7.3 多线程输入数据处理框架 185

7.3.1 队列与多线程 186

7.3.2 输入文件队列 190

7.3.3 组合训练数据（batching） 193

7.3.4 输入数据处理框架 196

小结 198

第8章 循环神经网络 200

8.1 循环神经网络简介 200

8.2 长短时记忆网络（LTSM）结构 206

8.3 循环神经网络的变种 212

8.3.1 双向循环神经网络和深层循环神经网络 212

8.3.2 循环神经网络的dropout 214

8.4 循环神经网络样例应用 215

8.4.1 自然语言建模 216

8.4.2 时间序列预测 225

小结 230

第9章 TensorBoard可视化 232

9.1 TensorBoard简介 232

9.2 TensorFlow计算图可视化 234

9.2.1 命名空间与TensorBoard图上节点 234

9.2.2 节点信息 241

9.3 监控指标可视化 246

小结 252

第10章 TensorFlow计算加速 253

10.1 TensorFlow使用GPU 253

10.2 深度学习训练并行模式 258

10.3 多GPU并行 261

10.4 分布式TensorFlow 268

10.4.1 分布式TensorFlow原理 269

10.4.2 分布式TensorFlow模型训练 272

10.4.3 使用Caicloud运行分布式TensorFlow 282

小结 287