深入浅出GAN生成对抗网络

本书首先从Python 基本语法开始讨论，逐步介绍必备的数学知识与神经网络的基本知识，并利用讨论的内容编写一个深度学习框架TensorPy，有了这些知识作为铺垫后，就开始讨论生成对抗网络（GAN）相关的内容。然后，本书使用比较简单的语言来描述GAN 涉及的思想、模型与数学原理，接着便通过TensorFlow实现传统的GAN，并讨论为何一定需要生成器或判别器。接下来，重点介绍GAN 各种常见的变体，包括卷积生成对抗网络、条件对抗生成网络、循环一致性、改进生成对抗网络、渐近增强式生成对抗网络等内容。
本书从模型与数学的角度来理解GAN 变体，希望通过数学符号表达出不同GAN 变体的核心思想，适合人工智能、机器学习、计算机视觉相关专业的人员学习使用。

廖茂文：游戏AI研究员、高级工程师、中国人工智能学会高级会员。研究兴趣为自然语言处理、生成对抗网络、游戏AI，曾参与多项机器学习项目。

潘志宏：高级工程师，中山大学新华学院“百名骨干教师”，中国人工智能学会高级会员、中国计算机学会会员。研究兴趣为机器学习、深度学习、物联网。主持和参与省市级、校级项目10余项，其中主持广东省普通高校青年创新人才项目、教育部产学合作协同育人项目各一项。发表论文18篇，其中SCI、EI、北大核心期刊12篇，第一作者论文获得北大核心期刊优秀论文、东莞市计算机学会优秀论文。申请发明专利、实用新型专利共8项，其中已授权3项，获得软件著作权3项，已出版教材3部。指导学生获得***和省级竞赛奖项50余项，多次获得***和省级优秀指导教师奖。

·市面上难得一见的既蕴含底层模型的数学之美，又注重操作实践的生成对抗网络入门到精通的好书。
·企业一线开发工程师与应用型本科院校知名教师，双剑合璧，兼顾理论实战。
·学者网创始人汤庸教授、《深度学习之美》作者张玉宏、景略集智CEO王文凯倾力推荐。

1.容易入门：本书会讨论线性代数、微积分、概率论、信息论等内容，尽力只提及后面内容需要的数学知识，并从原理角度去讲解这块内容，为后面篇幅做好铺垫。
2.内容更深：介绍GAN 的各种变体时，除了介绍架构以外，还会讲解目标函数为何要这样设计，并从数学层面去推导证实，可以说本书比较重视不同类别GAN 架构的底层思想，并从数学上表示它。
3.涉及面广：囊括了GAN 的各个应用领域，包括传统GAN、DCGAN、CGAN、ColorGAN、CycleGAN、StarGAN、DTN、XGAN、WGAN、WGAN-GP、SN-GAN、StackGAN、StackGAN-v2、PGGGAN 等10 多个方向。
4.实战性强：提供了很多代码，并给出运行结果。考虑到篇幅原因，并没有将每个类别的所有代码都放上去，而是主要讲解生成器、判别器、损失定义、具体训练逻辑等主要内容。

第 1 章 优雅Python 1
1．1　Anaconda　1
1．2　Python 基础　4
1．2．1　常用数据类型　5
1．2．2　流程控制　7
1．2．3　函数定义　8
1．3　Python 进阶　8
1．3．1　生成式　9
1．3．2　可迭代对象与迭代器　9
1．3．3　生成器　11
1．3．4　装饰器　11
1．4　小结　13
第　2 章 优雅的数学　14
2．1　向量与矩阵　14
2．1．1　向量的概念　14
2．1．2　向量的基本运算　15
2．1．3　矩阵的概念　17
2．1．4　矩阵的运算　19
2．2　微积分　24
2．2．1　圆的面积　24
2．2．2　古典微积分　25
2．2．3　重建微积分　28
2．2．4　常用的公式　29
2．2．5　偏导数　31
2．2．6　方向导数　31
2．2．7　链式法则　33
2．3　概率论　34
2．3．1　随机变量　34
2．3．2　条件概率　36
2．3．3　贝叶斯定理　38
2．3．4　常见的概率分布　39
2．4　信息论　41
2．4．1　信息熵　41
2．4．2　条件熵　43
2．4．3　互信息　43
2．4．4　相对熵（KL 散度）　44
2．4．5　交叉熵　45
2．5　小结　46
第3　章 初识神经网络　47
3．1　什么是神经网络　47
3．1．1　神经网络的历史　47
3．1．2　神经网络的优势　54
3．2　神经网络中常见的概念　55
3．2．1　前向传播算法　55
3．2．2　损失函数　57
3．2．3　梯度下降算法　58
3．2．4　各种梯度下降算法　63
3．2．5　反向传播算法　67
3．2．6　过拟合与欠拟合　70
3．3　动手实现深度学习框架TensorPy　71
3．3．1　实现计算图　71
3．3．2　实现Session 对象　74
3．3．3　实现感知器前向传播算法　76
3．3．4　实现对数损失　79
3．3．5　实现梯度下降算法与反向传播算法　81
3．3．6　实现多层感知器　86
3．4　TensorFlow 简介　89
3．4．1　TensorFlow 安装与介绍　89
3．4．2　TensorFlow 基本概念　90
3．4．3　TensorFlow 实现多层感知器　91
3．4．4　TensorBoard 可视化　93
3．4．5　TensorFlow 模型保存方法　98
3．5　小结　99
第4　章 初识生成对抗网络　101
4．1　什么是生成对抗网络　101
4．1．1　什么是GAN　101
4．1．2　GAN 使用范围　103
4．2　GAN 基本原理　104
4．2．1　GAN 模型详情　104
4．2．2　对抗的本质　106
4．3　TensorFlow 实现朴素GAN　108
4．3．1　朴素GAN 生成MNIST
数据集　108
4．3．2　训练与效果展示　114
4．4　关于GAN 的几个问题　117
4．4．1　为什么生成器G 生成数据需要判别器D 介入　117
4．4．2　为什么判别器D 不自己
生成数据　120
4．4．3　为什么选择GAN　121
4．5　小结　122
第5　章 生成对抗网络的数学原理　123
5．1　拟合真实分布　123
5．1．1　最大似然估计　123
5．1．2　最大似然估计拟合分布　125
5．1．3　最大似然估计与KL散度的关系　126
5．2　生成对抗网络　127
5．2．1　生成器拟合分布　127
5．2．2　判别器计算分布的差异　128
5．2．3　GAN 的数学推导　129
5．2．4　GAN 的本质　131
5．3　统一框架F-GAN　134
5．3．1　f 散度　134
5．3．2　凸共轭　137
5．3．3　f 散度与GAN 之间的关系　138
5．4　GAN 训练过程可视化　139
5．5　小结　144
第6　章 卷积生成对抗网络　145
6．1　初识卷积神经网络　145
6．1．1　什么是卷积神经网络　145
6．1．2　CNN 识别图像过程　147
6．1．3　CNN 核心概念　151
6．2　TensorFlow 实现卷积网络　154
6．2．1　构建CNN 计算图　154
6．2．2　训练CNN 网络　160
6．2．3　Dropout 操作　161
6．2．4　DCGAN：CNN 与GAN
有机结合　162
6．2．5　Batch Normalization　164
6．3　TensorFlow 实现DCGAN 网络　166
6．3．1　TensorFlow 实现DCGAN 的生成器 ．167
6．3．2　TensorFlow 实现DCGAN 的
判别器　170
6．3．3　获得测试样例　171
6．3．4　构建DCGAN 整体　172
6．3．5　训练DCGAN　173
6．3．6　RussellCould 使用　179
6．3．7　结果展示　185
6．4　小结　189
第7　章 条件对抗生成网络　190
7．1　如何实现图像间风格转换　190
7．1．1　传统神经网络的缺陷　190
7．1．2　普通GAN 的缺陷　191
7．2　条件对抗生成网络　192
7．2．1　GAN 详解　192
7．2．2　CGAN 训练流程　193
7．3　ColorGAN 的实现　194
7．3．1　生成器与判别器的构建　194
7．3．2　图像数据预处理　197
7．3．3　ColorGAN 训练学习　200
7．3．4　ColorGAN 训练结果　203
7．3．5　图像转图像的讨论　208
7．4　实现文字转图像　209
7．4．1　独热向量　209
7．4．2　fashion-mnist 数据集　210
7．4．3　FashionCGAN 判别器和生成器　211
7．4．4　训练FashionCGAN　213
7．5　实现句子转图像　215
7．5．1　word2vec 技术　215
7．5．2　RNN、LSTM 与GRU　218
7．5．3　Skip-Thought Vector　223
7．5．4　实现Skip-Thought　226
7．5．5　实现句子转图像　234
7．6　小结　237
第8　章 循环一致性　238
8．1　以无监督的方式实现风格转换　238
8．2　CycleGAN　240
8．2．1　CycleGAN 的架构与目标函数　241
8．2．2　CycleGAN 做的改变　243
8．2．3　TensorFlow 实现CycleGAN生成器与判别器　251
8．2．4　TensorFlow 搭建与训练CycleGAN　254
8．2．5　效果展示　258
8．3　StarGAN　262
8．3．1　StarGAN 的结构与目标函数　262
8．3．2　TensorFlow 构建StarGAN模型　265
8．3．3　构建StarGAN 的损失　268
8．3．4　效果展示　272
8．4　语义样式不变的图像跨域转换　275
8．4．1　Domain Transfer Network介绍　276
8．4．2　DTN 代码结构　278
8．4．3　XGAN 介绍　283
8．5　小结　287
第9　章 改进生成对抗网络　289
9．1　传统GAN 存在的问题　289
9．1．1　梯度消失　289
9．1．2　模式崩溃　293
9．2　Wasserstein GAN　295
9．2．1　EM 距离　295
9．2．2　EM 距离使用在GAN 上　298
9．2．3　EM 距离与判别器的关系　299
9．2．4　TensorFlow 实现WGAN　302
9．3　Improved WGAN（WGAN-GP）　306
9．3．1　WGAN 存在的问题　306
9．3．2　gradient penalty　308
9．3．3　TensorFlow 实现WGAN-GP　310
9．4　SN-GAN　314
9．4．1　SN-GAN 介绍　314
9．4．2　Spectral Normalization方法与SN-GAN　315
9．4．3　TensorFlow 实现SNGAN　321
9．5　小结　326
第　10 章 渐近增强式生成对抗网络　327
10．1　堆叠式生成对抗网络StackGAN　327
10．1．1　StackGAN-v1　327
10．1．2　棋盘效应　330
10．1．3　StackGAN-v2　333
10．1．4　TensorFlow 实现StackGAN-v2　335
10．2　TensorFlow 数据处理　348
10．2．1　placeholder 读取数据　348
10．2．2　Queue 方式读取数据　348
10．2．3　tf．data 读取数据　353
10．3　渐近增长生成对抗网络PGGAN ．
10．3．1　PGGAN 介绍　355
10．3．2　PGGAN 的改进点　356
10．3．3　TensorFlow 实现PGGAN　361
10．4　小结　369
第　11 章 GAN 进行特征学习　370
11．1　近似推断　370
11．1．1　变分推断思想　371
11．1．2　平均场　372
11．2　InfoGAN　375
11．2．1　数据特征与互信息　376
11．2．2　InfoGAN 数学原理与模型结构　377
11．2．3　TensorFlow 实现InfoGAN　381
11．2．4　使用InfoGAN 生成图像　385
11．3　VAE-GAN　390
11．3．1　AutoEncoder 自编码器　390
11．3．2　变分自编码器　392
11．3．3　数学角度看VAE　394
11．3．4　TensorFlow 实现VAE　400
11．3．5　VAE 与GAN 的结合体VAE-GAN　405
11．3．6　TensorFlow 实现VAE-GAN　407
11．4　小结　414
第　12 章 GAN 在NLP 中的运用　415
12．1　GAN 在文本生成中遇到的境　415
12．2　GAN 生成离散数据的方法　418
12．2．1　判别器直接获取生成器的输出　418
12．2．2　Gumbel-softmax　420
12．3　强化学习简述　422
12．3．1　强化学习算法　423
12．3．2　Policy Gradient　424
12．3．3　GAN+RL 作用于文本生成　428
12．3　SeqGAN　429
12．3．1　SeqGAN 结构与算法　429
12．3．2　Highway Network　432
12．3．3　SeqGAM 生成器与rollout结构的实现　434
12．3．4　SeqGAN 中目标LSTM 与判别器的实现　445
12．3．5　SeqGAN 中生成器与判别器预训练　453
12．3．6　SeqGAN 对抗训练　459
12．4　MaskGAN　461
12．4．1　MaskGAN 结构与算法　461
12．4．2　TensorFlow 实现MaskGAN 的生成器与判别器　465
12．4．3　TensorFlow 实现MaskGAN 的Actor-Critic 与目标函数　472
12．4．4　TensorFlow 实现MaskGAN 的结构与训练逻辑　476
12．5　小结　480