简明的TensorFlow 2

李锡涵，谷歌开发者专家（机器学习领域），北京大学信息科学技术学院智能科学系理学硕士，本科毕业于浙江大学竺可桢学院混合班。曾获全国青少年信息学奥林匹克联赛一等奖，美国大学生数学建模竞赛特等奖。曾在多智能体会议AAMAS和自然语言处理会议COLING上发表学术论文。现研究方向为强化学习在优化领域的实际应用，即将赴伦敦大学学院攻读计算机博士学位。开源在线入门手册《简单粗暴TensorFlow 2》作者。本书封面插图作者。

李卓桓，谷歌开发者专家（机器学习领域）。清华大学本科，中欧国际工商学院EMBA，北京邮电大学计算机博士在读。现任PreAngel合伙人，Plug and Play Ventures Partner，关注种子期AI创业项目。zixia BBS、叽歪网创始人，曾任优酷网首席科学家、水木清华BBS站长、ChinaRen系统工程师。拥有丰富的互联网创业投资和编程经验，著有《Linux网络编程》《反垃圾邮件完全手册》《智能问答与深度学习》《Chatbot从0到1：对话式交互设计实践指南》等技术书。GitHub 8000+ Star 开源项目 Wechaty 作者。

朱金鹏，华为高级软件工程师，前谷歌开发者专家（机器学习领域），从事Android系统和运行时设计开发9年，在Android系统、运行时、机器学习等领域都有较深入的研究和探索。积极参与谷歌技术社区活动并进行技术分享。欢迎关注作者的微信公众号deepinthinking。

TensorFlow 中国研发负责人李双峰，Google 全球生态系统项目负责人倾力推荐；

3位 ML GDE 共同创作，以“即时执行”视角带你领略 TensorFlow 2 的全新开发模式；

TensorFlow 2降低机器学习门槛，促使机器学习无处不在；

一本书让你快速入门 TensorFlow 2，同时掌握多端部署能力！

本书以简洁的方式讲解 TensorFlow 2，为你开启深度学习编程进阶之旅。

——汪军，伦敦大学学院计算机科学系教授

本书不仅仅是一本 TensorFlow 2 工具书，它除了有零门槛的入门章节与简明的用法示例外，还兼有基础理论的介绍以及面向应用场景的扩展章节。本书摒弃了传统软件工具书严肃刻板的教学风格，围绕实际代码案例展开经验分享式叙述，是一本适合读者温习机器学习理论、了解 TensorFlow 用法并开拓视野的优秀技术书。

——吴康隆，加利福尼亚大学戴维斯分校博士研究生，《简单高效LaTeX》作者

一直想写一本关于 TensorFlow 2 的书，可惜忙于创业无暇投入。有幸从 0 到 1 见证了好友锡涵、卓桓和金鹏的新书落地，作为一个过来人，深知不易。本书从算法科学家的视角切入，由浅入深带你逐步掌握 TensorFlow 2 的核心模块和常见用例。本书作为官方文档的补充学习材料，具有独特的参考价值。

——彭靖田，品览联合创始人兼CTO，《深入理解TensorFlow：架构设计与实现原理》作者

目　　录
第0　章 TensorFlow 概述　1
基　础 篇
第　1 章 TensorFlow 的安装与环境配置　4
1．1　一般安装步骤　4
1．2　GPU 版本 TensorFlow 安装指南　6
1．2．1　GPU 硬件的准备　6
1．2．2　NVIDIA 驱动程序的安装　6
1．2．3　CUDA Toolkit 和 cuDNN 的安装　8
1．3　第 一个程序　8
1．4　IDE 设置　9
1．5*　TensorFlow 所需的硬件配置　10
第　2 章 TensorFlow 基础　12
2．1　TensorFlow 1+1　12
2．2　自动求导机制　14
2．3　基础示例：线性回归　15
2．3．1　NumPy 下的线性回归　16
2．3．2　TensorFlow 下的线性回归　17
第　3 章 TensorFlow 模型建立与训练　19
3．1　模型与层　19
3．2　基础示例：多层感知器（MLP）　22
3．2．1　数据获取及预处理：tf．keras．datasets　23
3．2．2　模型的构建：tf．keras．Model 和 tf．keras．layers　24
3．2．3　模型的训练：tf．keras．losses 和 tf．keras．optimizer　25
3．2．4　模型的评估：tf．keras．metrics　26
3．3　卷积神经网络（CNN）　28
3．3．1　使用 Keras 实现卷积神经网络　29
3．3．2　使用 Keras 中预定义的经典卷积神经网络结构　30
3．4　循环神经网络（RNN）　35
3．5　深度强化学习（DRL）　40
3．6*　Keras Pipeline　43
3．6．1　Keras Sequential/Functional API 模式建立模　44
3．6．2　使用 Keras Model 的 compile、fit 和 evaluate 方法训练和评估模型　44
3．7*　自定义层、损失函数和评估指标　45
3．7．1　自定义层　45
3．7．2　自定义损失函数和评估指标　46
第　4 章 TensorFlow 常用模块　48
4．1　tf．train．Checkpoint：变量的保存与恢复　48
4．2　TensorBoard：训练过程可视化　52
4．2．1　实时查看参数变化情况　52
4．2．2　查看 Graph 和 Profile 信息　53
4．2．3　实例：查看多层感知器模型的训练情况　55
4．3　tf．data：数据集的构建与预处理　55
4．3．1　数据集对象的建立　55
4．3．2　数据集对象的预处理　57
4．3．3　使用 tf．data 的并行化策略提高训练流程效率　60
4．3．4　数据集元素的获取与使用　61
4．3．5　实例：cats_vs_dogs 图像分类　62
4．4　TFRecord：TensorFlow 数据集存储格式　64
4．4．1　将数据集存储为 TFRecord 文件　65
4．4．2　读取 TFRecord 文件　66
4．5*　@tf．function：图执行模式　68
4．5．1　@tf．function 基础使用方法　68
4．5．2　@tf．function 内在机制　69
4．5．3　AutoGraph：将 Python 控制流转换为 TensorFlow 计算图　72
4．5．4　使用传统的 tf．Session　73
4．6*　tf．TensorArray：TensorFlow 动态数组　74
4．7*　tf．config：GPU 的使用与分配　75
4．7．1　指定当前程序使用的 GPU　75
4．7．2　设置显存使用策略　76
4．7．3　单 GPU 模拟多 GPU 环境　77
部　署 篇
第　5 章 TensorFlow 模型导出　80
5．1　使用 SavedModel 完整导出模型　80
5．2　Keras 自有的模型导出格式　82
第　6 章 TensorFlow Serving　84
6．1　TensorFlow Serving 安装　84
6．2　TensorFlow Serving 模型部署　85
6．2．1　Keras Sequential 模式模型的部署　86
6．2．2　自定义 Keras 模型的部署　86
6．3　在客户端调用以 TensorFlow Serving 部署的模型　87
6．3．1　Python 客户端示例　87
6．3．2　Node．js 客户端示例（Ziyang）　88
第　7 章 TensorFlow Lite　91
7．1　模型转换　91
7．2　Android 部署　92
7．3　Quantized 模型转换　96
7．4　总结　100
第　8 章 TensorFlow．js　101
8．1　TensorFlow．js 环境配置　102
8．1．1　在浏览器中使用 TensorFlow．js　102
8．1．2　在 Node．js 中使用 TensorFlow．js　103
8．1．3　在微信小程序中使用 TensorFlow．js　104
8．2　ensorFlow．js 模型部署　105
8．2．1　在浏览器中加载 Python 模型　105
8．2．2　在 Node．js 中执行原生 SavedModel 模型　106
8．2．3　使用 TensorFlow．js 模型库　107
8．2．4　在浏览器中使用 MobileNet 进行摄像头物体识别　107
8．3*　TensorFlow．js 模型训练与性能对比　110
大规模训练篇
第　9 章 TensorFlow 分布式训练　116
9．1　单机多卡训练：MirroredStrategy　116
9．2　多机训练：MultiWorkerMirrored-Strategy　118
第　10 章 使用 TPU 训练 TensorFlow 模型　120
10．1　TPU 简介　120
10．2　TPU 环境配置　122
10．3　TPU 基本用法　123
扩　展 篇
第　11 章 TensorFlow Hub 模型复用　126
11．1　TF Hub 网站　126
11．2　TF Hub 安装与复用　127
11．3　TF Hub 模型二次训练样例　130
第　12 章 TensorFlow Datasets 数据集载入　131
第　13 章 Swift for TensorFlow　133
13．1　S4TF 环境配置　133
13．2　S4TF 基础使用　134
13．2．1　在 Swift 中使用标准的 TensorFlow API　135
13．2．2　在 Swift 中直接加载 Python 语言库　136
13．2．3　语言原生支持自动微分　136
13．2．4　MNIST 数字分类　137
第　14 章* TensorFlow Quantum： 混合量子 - 经典机器学习　140
14．1　量子计算基本概念　141
14．1．1　量子位　141
14．1．2　量子逻辑门　142
14．1．3　量子线路　143
14．1．4　实例：使用 Cirq 建立简单的量子线路　144
14．2　混合量子 - 经典机器学习　144
14．2．1　量子数据集与带参数的量子门　145
14．2．2　参数化的量子线路（PQC）　146
14．2．3　将参数化的量子线路嵌入机器学习模型　146
14．2．4　实例：对量子数据集进行二分类　147
高　级 篇
第　15 章 图执行模式下的 TensorFlow 2　150
15．1　TensorFlow 1+1　150
15．1．1　使用计算图进行基本运算　150
15．1．2　计算图中的占位符与数据输入　152
15．1．3　计算图中的变量　153
15．2　自动求导机制与优化器　156
15．2．1　自动求导机制　156
15．2．2　优化器　157
15．2．3*　自动求导机制的计算图对比　158
15．3　基础示例：线性回归　161
15．3．1　自动求导机制　162
15．3．2　优化器　162
第　16 章 tf．GradientTape 详解　164
16．1　基本使用　164
16．2　监视机制　165
16．3　高阶求导　166
16．4　持久保持记录与多次求导　166
16．5　图执行模式　167
16．6　性能优化　167
16．7　实例：对神经网络的各层变量独立求导　167
第　17 章 TensorFlow 性能优化　169
17．1　关于计算性能的若干重要事实　169
17．2　模型开发：拥抱张量运算　170
17．3　模型训练：数据预处理和预载入　171
17．4　模型类型与加速潜力的关系　171
17．5　使用针对特定 CPU 指令集优化的 TensorFlow　172
17．6　性能优化策略　172
第　18 章 Android 端侧 Arbitrary Style Transfer 模型部署　173
18．1　Arbitrary Style Transfer 模型解析　174
18．1．1　输入输出　174
18．1．2　bottleneck 数组　174
18．2　Arbitrary Style Transfer 模型部署　175
18．2．1　gradle 设置　175
18．2．2　style predict 模型部署　175
18．2．3　transform 模型部署　178
18．2．4　效果　180
18．3　总结　182
附录　A 强化学习简介　183
附录　B 使用 Docker 部署 TensorFlow 环境　197
附录　C 在云端使用 TensorFlow　200
附录　D 部署自己的交互式 Python 开发环境 JupyterLab　211
附录　E 参考资料与推荐阅读　214
附录　F 术语中英对照　216