图说深度学习：用可视化方法理解复杂概念

本书适合任何想要深入了解深度学习这个迷人领域的人，您不需要具备高级数学和编程知识就可以掌握其根本原理。如果您想知道这些工具是如何工作的，并学会自己使用它们，答案尽在书中。而且，如果您已经准备好编写自己的程序，那么随附的Github存储库中还有大量补充的Python笔记本可以帮助您。
本书讲解语言通俗易懂，包含大量的的彩色插图和具有启发性的类比，以及丰富的现实世界的例子，深入地地解释了深度学习的关键概念，包括:
??文本生成器如何创建新颖的故事和文章。
??深度学习系统如何在人类游戏中学习游戏并获胜。
??图像分类系统如何识别照片中的物体或人。
??如何以对日常生活有用的方式思考概率。
??如何使用构成现代人工智能核心的机器学习技术。
各种各样的智力冒险家都可以使用本书中涵盖的强大思想来构建智能系统，帮助我们更好地理解世界和生活在其中的每个人。这就是人工智能的未来，这本书可以让你充分想象它的未来。

[美]安德鲁.格拉斯纳：
拥有北卡罗来纳州教堂山分校计算机科学博士学位，他是一位专门从事计算机图形学和深度学习的研究的科学家。他目前是Weta Digital（维塔数码）的高级研究科学家，致力于将深度学习与电影和电视视觉效果的制作相结合。他曾在IBM沃森实验室、施乐PARC和微软研究所等实验室担任研究员。同时他也是最早的图形研究杂志ACM-TOG9(计算机图形学国际顶级期刊)的主编，和最早的计算机图形学会议SIGGRAPH（Special Interest Group for Computer GRAPHICS，由美国计算机协会计算机图形专业组组织的计算机图形学顶级年度会议）的技术论文主席。他撰写或编辑了十几本关于计算机图形学的技术书籍，包括著名的Principles of Digital Image Synthesis、Graphics Gems系列等。

译者简介：
赵鸣，2006年获华中师范大学计算机辅助教学硕士学位，2015年获哈尔滨工业大学计算机应用方向博士学位，现任长江大学教授。目前主持在研省部级项目四项，横向项目两项。他的研究兴趣包括计算智能、图像和信号处理、模式识别等。他是荆州市智慧警务专家成员，也是IEEE高级成员

曾小健，出版AI图书多部，在量化金融和AI领域有多年经验，计算机博士在读，CSDN博客专家，多个大模型开源项目源码贡献人，曾在华为云、中关村在线等多所大型互联网科技企业担任重要职务，GitHub：ArtificialZeng; CSDN:AI生成曾小健。

李现伟，日本早稻田大学博士毕业，硕士生导师，主要从事大数据、机器学习、物联网等方向的教学与工作。发表SCI论文20余篇，主持和参与安徽省自然科学基金、安徽省重点研究与开发计划、安徽省教育厅优秀青年基金项目等多项。获得中国发明协会创业奖成果奖二等奖，获得绿色矿山科学技术奖二等奖一项。

任玉柱，毕业于国防科学技术大学网络工程专业，主要研究方向为信息安全，机器学习，人工智能，发表相关领域研究文章3篇。

本书帮助读者深度学习入门，与其他深度学习入门图书的区别在于，本书中包含大量图解，并且采用口语化文字写作。由于作者是计算机图形学和深度学习方面的专家，所以在用图形图像来解释专业概念上具有一定优势和经验，因此本书中的大量图解也是本书一大特色。有了图解就意味着一些比较专业知识不一定需要用大量数学和公式去解释，所以这本书面向读者人群可以扩大到非计算机专业人士，哪怕是对深度学习、人工智能完全没有学习基础的人，也可以读懂。

详细目录
致谢
前言
这本书是为谁准备的
这本书没有复杂的数学和代码
如果你想要的话，这里有代码
图片也可以找到！
勘误
关于本书
第1部分：基础理论
第2部分：初级机器学习
第3部分：深度学习的基础
第4部分：进阶知识
最后的话

第一部分 基础理论 1
第1 章 机器学习技术概述 2
1.1 专家系统
1.2 监督学习
1.3 无监督学习
1.4 强化学习
1.5 深度学习
1.6 本章总结

第2 章 统计学基础 11
2.1 描述随机性
2.2 随机变量与概率分布
2.3 常见的分布
详细目录 VII
2.3.1 连续分布
2.3.2 离散分布
2.4 随机值的集合
2.4.1 期望值
2.4.2 依赖
2.4.3 独立同分布变量
2.5 采样与替换
2.5.1 替换采样法
2.5.2 无替换采样法
2.6 自采样法
2.7 协方差和相关性
2.7.1 协方差
2.7.2 相关性
2.8 统计数据的局限性
2.9 高维空间
2.10 本章总结

第3 章 性能度量 37
3.1 不同类型的概率
3.1.1　投掷飞镖
3.1.2　简单概率
3.1.3　条件概率
3.1.4　联合概率
3.1.5　边缘概率
3.2　评价正确性
3.2.1　样本分类
3.2.2　混淆矩阵
3.2.3　错误的特征
3.2.4　评价正确与否
3.2.5　准确率
3.2.6　精度
3.2.7　召回率
3.2.8　精度与召回率的权衡
3.2.9　误导性结果
3.2.10　F1分数
3.2.11　关于这些指标
3.2.12　其他评价方式
3.3　正确构造混淆矩阵
3.4　本章总结

第4 章 贝叶斯方法 66
4.1　频率法与贝叶斯概率
4.1.1　频率法
4.1.2　贝叶斯方法
4.1.3　频率派与贝叶斯派
4.2　频率法抛掷硬币
4.3　贝叶斯方法抛掷硬币
4.3.1　启发性的例子
4.3.2　绘制抛掷硬币的概率
4.3.3　用概率表示抛掷硬币
4.3.4　贝叶斯公式
4.3.5　关于贝叶斯公式的讨论
4.4 贝叶斯公式与混淆矩阵
4.5　再论贝叶斯公式
4.5.1　后验-先验循环
4.5.2　贝叶斯循环实战
4.6　多重假设
4.7　本章总结

第5 章 曲线和曲面
5.1　函数的性质
5.2　导数
5.2.1　最大值和最小值
5.2.2　切线
5.2.3　用导数求最小值和最大值
5.3　梯度
5.3.1　水、重力和梯度
5.3.2　用梯度求最大值和最小值
5.3.3　鞍点
5.4　本章总结

第6 章 信息论
6.1　信息带给我们的惊讶感
6.1.1　为什么会惊讶
6.1.2　信息解密
6.2　衡量信息量
6.3　自适应码
6.3.1　摩斯电码
6.3.2　调整摩斯电码
6.4　熵
6.5　交叉熵
6.5.1　两种自适应码
6.5.2　使用编码
6.5.3　实践中的交叉熵 ·
6.6　KL散度
6.7　本章总结

第二部分 初级机器学习
第7 章 分类
7.1　二维空间的二元分类问题
7.2　二维空间的多分类问题
7.3　多元分类
7.3.1　一对多
7.3.2　一对一
7.4　聚类
7.5 维度诅咒
7.5.1 维度和密度
7.5.2　高维奇异性
7.6　本章总结

第8 章 训练和测试
8.1　训练
8.2　测试
8.2.1　测试集
8.2.2　验证集
8.3　交叉验证
8.4　k-Fold交叉验证法
8.5　本章总结

第9 章 过拟合与欠拟合
9.1　找到一个好的拟合
9.1.1　过拟合
9.1.2　欠拟合
9.2　检测和解决过拟合
9.2.1　提前停止
9.2.2　正则化
9.3　偏差和方差
9.3.1　匹配基础数据
9.3.2　高偏差与低方差
9.3.3　低偏差与高方差
9.3.4　比较曲线
9.4　用贝叶斯方法拟合直线
9.5　本章总结

第10 章 数据预处理
10.1　基本数据清洗
10.2　数据一致性
10.3　数据类型
10.4　独热编码
10.5　归一化与标准化
10.5.1　归一化
10.5.2　标准化
10.5.3　记录转换过程
10.6　其他转换方式
10.6.1　切片处理
10.6.2　样本切片
10.6.3　特征切片
10.6.4　元素切片
10.7　逆变换
10.8　交叉验证中的信息泄露
10.9　收缩数据集
10.9.1　特征选择
10.9.2　降维
10.10　主成分分析
10.10.1　简单图像的PCA处理
10.10.2　真实图像的主成分分析
10.11　本章总结
第11 章 分类器
11.1 常见分类器
11.2 k-最近邻算法
11.3　决策树
11.3.1　决策树概览
11.3.2　决策树构建
11.3.3　过拟合树
11.3.4　拆分节点
11.4　支持向量机
11.4.1　基础算法
11.4.2　支持向量机核函数
11.5　朴素贝叶斯
11.6　分类器的对比
11.7　本章总结

第12 章 集成学习
12.1　投票
12.2　决策树的集成
12.2.1　装袋算法
12.2.2　随机森林
12.2.3　极端随机树集成
12.3　助推法
12.4　本章总结

第三部分 深度学习的基础
第13 章 神经网络
13.1　生物神经元
13.2　人工神经元
13.2.1　感知器
13.2.2　现代人工神经元
13.3　绘制神经元
13.4　前馈网络
13.5　神经网络图
13.6　初始化权重
13.7　深度神经网络
13.8　全连接层
13.9　张量
13.10　防止坍缩
13.11　激活函数
13.11.1　直线函数
13.11.2　阶跃函数
13.11.3　分段线性函数
13.11.4　平滑函数
13.11.5　激活函数图像总结
13.11.6　比较激活函数
13.12　Softmax函数
13.13　本章总结

第14 章 反向传播算法
14.1　训练过程概述
14.1.1　降低误差
14.1.2　一种缓慢的学习算法
14.1.3　梯度下降
14.2　快速开始
14.3　微型神经网络中的反向传播
14.3.1　寻找输出神经元的增量
14.3.2　使用δ来调整权重
14.3.3　其他神经元的δ值
14.4 大型神经网络中的反向传播算法
14.5　学习率
14.5.1　构建二分类器
14.5.2　选择学习率
14.5.3　更小的学习率
14.6　本章总结

第15 章 优化器
15.1　用二维曲线表示误差
15.2　调整学习率
15.2.1　恒定大小的更新
15.2.2　随着时间的推移改变学习率
15.2.3　衰减调整策略
15.3　更新策略
15.3.1　批量梯度下降法
15.3.2　随机梯度下降法
15.3.3　小批次梯度下降法
15.4　梯度下降的变体
15.4.1　动量
15.4.2　内斯特罗夫动量
15.4.3　AdaGrad算法
15.4.4　Adadelta和RMSProp算法
15.4.5　Adam算法
15.5　优化器的选择
15.6　正则化
15.6.1　Dropout
15.6.2　BatchNorm
15.7　本章总结

第四部分 进阶知识
第16 章 卷积神经网络
16.1　初识卷积
16.1.1　颜色检测
16.1.2　权重共享
16.1.3　大一点的卷积核
16.1.4　卷积核和特征
16.1.5　填充
16.2　多维卷积
16.3　多重卷积核
16.4　卷积层
16.4.1　一维卷积
16.4.2　1×1卷积
16.5　更改输出大小
16.5.1　池化
16.5.2　跨步前进
16.5.3　转置卷积
16.6　卷积核的层次结构
16.6.1　简化假设
16.6.2　寻找面具
16.6.3　寻找眼睛、鼻子和嘴巴
16.6.4　应用卷积核
16.7　本章总结

第17 章 卷积网络实践
17.1　手写数字分类
17.2　VGG16
17.3　图解卷积核（1）
17.4　图解卷积核（2）
17.5　对抗样本
17.6　本章总结

第18 章 自编码器
18.1　编码简介
18.2　混合表示
18.3　最简单的自编码器
18.4　更好的自编码器
18.5　探索自编码器
18.5.1　探索潜在变量
18.5.2　参数空间
18.5.3　混合潜在变量
18.5.4　基于新输入的预测
18.6　卷积自编码器
18.6.1　混合潜在变量
18.6.2　基于新输入的预测
18.7　去噪
18.8　可变自编码器
18.8.1　潜在变量的分布
18.8.2　可变自编码器结构
18.9　探索VAE
18.9.1　使用MNIST样本
18.9.2　使用两个潜在变量
18.9.3　产生新的输入
18.10　本章总结

第19 章 循环神经网络
19.1　处理语言
19.1.1　常见的NLP任务
19.1.2　文本数值化
19.1.3　微调和下游网络
19.2　全连接预测
19.2.1　测试网络
19.2.2　失败的原因
19.3 循环神经网络
19.3.1　状态
XVI
19.3.2　卷起图表
19.3.3　实践循环单元
19.3.4　训练循环神经网络
19.3.5　长短期记忆与门控循环网络
19.4　使用循环神经网络
19.4.1　处理太阳黑子数据
19.4.2　生成文本
19.4.3　其他架构
19.5　Seq2Seq
19.6　本章总结

第20 章 注意力机制和Transformer模型
20.1　嵌入
20.1.1　词嵌入技术
20.1.2　ELMo模型
20.2　注意力机制
20.2.1　形象比喻
20.2.2　自注意力机制
20.2.3　Q/KV注意力机制
20.2.4　多头注意力机制
20.2.5　层图标
20.3　Transformer模型
20.3.1　跳跃连接
20.3.2　Norm-Add
20.3.3 位置编码
20.3.4　构建Transformer模块
20.3.5　运行Transformer模块
20.4　BERT和GPT-2
20.4.1　BERT
20.4.2　GPT-2
20.4.3　生成器讨论
20.4.4　数据中毒
20.5　本章总结

第21 章 强化学习
21.1　基本思想
21.2　学习新游戏
21.3　强化学习的结构
21.3.1　步骤1：代理选择操作
21.3.2　步骤2：环境做出反应
21.3.3　步骤3：代理自我更新
21.3.4　回到全局
21.3.5　理解回报
21.4　Flippers
21.5　L-Learning
21.5.1　基础知识
21.5.2　L-Learning算法
21.5.3　性能测试
21.5.4　不可预测性
21.6　Q-Learning
21.6.1　Q值和更新
21.6.2　Q-Learning策略
21.6.3　策略总览
21.6.4　房间里的大象
21.6.5　Q-Learning的作用
21.7　SARSA
21.7.1　SARSA算法
21.7.2　SARSA的作用
21.7.3　Q-Learning与SARSA的比较
21.8　纵观全局
21.9　本章总结

第22 章 生成对抗网络
22.1　伪造筹码
22.1.1　从经验中学习
22.1.2　训练生成器网络
22.1.3　学习过程
22.1.4　理解对抗性
22.2　实现生成对抗网络
22.2.1　鉴别器
22.2.2　生成器
22.2.3　训练生成对抗网络
22.3　生成对抗网络的作用
22.3.1　构建鉴别器和生成器
22.3.2　训练网络
22.3.3　测试网络
22.4　深度卷积生成对抗网络
22.5　挑战
22.5.1　大样本训练
22.5.2　模态崩溃
22.5.3　使用生成的数据训练
22.6　本章总结

第23 章 创意应用
23.1　深梦系统
23.1.1　刺激卷积核
23.1.2　测试我们的算法
23.2　神经风格迁移
23.2.1　表现风格
23.2.2　表现内容
23.2.3　风格和内容
23.2.4　测试算法
23.3　生成本书更多内容
23.4　本章总结
23.5　最后的思考
参考文献
图片来源
索引