PyTorch 2.0深度学习从零开始学（人工智能技术丛书）

PyTorch是一个开源的机器学习框架，它提供了动态计算图的支持，让用户能够自定义和训练自己的神经网络，目前是机器学习领域中最受欢迎的框架之一。本书基于PyTorch 2.0，详细介绍深度学习的基本理论、算法和应用案例，配套示例源代码、PPT课件。

《PyTorch 2.0深度学习从零开始学》共分15章，内容包括PyTorch概述、开发环境搭建、基于PyTorch的MNIST分类实战、深度学习理论基础、MNIST分类实战、数据处理与模型可视化、基于PyTorch卷积层的分类实战、PyTorch数据处理与模型可视化、实战ResNet卷积网络模型、有趣的Word Embedding、基于循环神经网络的中文情感分类实战、自然语言处理的编码器、站在巨人肩膀上的预训练模型BERT、自然语言处理的解码器、基于PyTorch的强化学习实战、基于MFCC的语音唤醒实战、基于PyTorch的人脸识别实战。

《PyTorch 2.0深度学习从零开始学》适合深度学习初学者、PyTorch初学者、PyTorch深度学习项目开发人员学习，也可作为高等院校或高职高专学校计算机技术、人工智能、智能科学与技术、数据科学与大数据技术等相关专业的教材。

王晓华，高校计算机专业讲师，研究方向为云计算、大数据与人工智能。著有《Python机器学习与可视化分析实战》《谷歌JAX深度学习从零开始学》《Spark 3.0大数据分析与挖掘：基于机器学习》《TensorFlow深度学习应用实践》《OpenCV+TensorFlow深度学习与计算机视觉实战》《TensorFlow知识图谱实战》《TensorFlow人脸识别实战》《TensorFlow语音识别实战》《TensorFlow+Keras自然语言处理实战》《TensorFlow 2.0卷积神经网络实战》《Keras实战：基于TensorFlow2.2的深度学习实践》《TensorFlow 2.0深度学习从零开始学》《深度学习的数学原理与实现》。

本书学习曲线平缓，实战案例丰富，适合做为入门书

帮助读者用最短的时间掌握PyTorch 2.0深度学习的编程技巧及实战应用

实战案例包括：中文情感分类、拼音汉字转化、中文文本分类、拼音汉字翻译、强化学习、语音唤醒、人脸识别

配套示例源码、PPT课件、作者答疑服务

PyTorch是一个开源的机器学习框架，它提供了动态计算图的支持，让用户能够自定义和训练自己的神经网络。它由Facebook的研究团队开发，并于2017年首次发布，从那时起，PyTorch迅速成为机器学习领域最受欢迎的框架之一。

PyTorch在学术界和产业界都得到了广泛的应用，被用于完成各种任务，例如图像分类、自然语言处理、目标检测等。在2019年，PyTorch被Google和OpenAI等机构评选为机器学习框架的首选，这也进一步证明了PyTorch在机器学习领域的重要性。

关于本书

本书是一本以PyTorch 2.0为框架的深度学习实战图书，以通俗易懂的方式介绍深度学习的基础内容与理论，并以项目实战的形式详细介绍PyTorch框架的使用。本书从单个API的使用，到组合架构完成进阶的项目实战，全面介绍使用PyTorch 2.0进行深度学习项目实战的核心技术和涉及的相关知识，内容丰富而翔实。

同时，本书不仅仅是一本简单的项目实战性质的图书，本书在讲解和演示实例代码的过程中，对PyTorch 2.0的核心内容进行深入分析，重要内容均结合代码进行实战讲解，围绕深度学习的基本原理介绍大量案例，读者通过这些案例可以深入掌握深度学习和PyTorch 2.0的相关技术及其应用，并能提升使用深度学习框架进行真实的项目实战的能力。

本书特点

（1）重实践，讲原理。本书立足于深度学习，以实战为目的，以新版的PyTorch 2.0为基础框架，详细介绍深度学习基本原理以及示例项目的完整实现过程，并提供可运行的全套示例代码，帮助读者在直接使用代码的基础上掌握深度学习的原理与应用方法。

（2）版本新，易入门。本书详细讲解PyTorch 2.0的安装和使用，包括PyTorch?2.0的重大优化和改进方案，以及官方默认使用的API和官方推荐的编程方法与技巧。

（3）作者经验丰富，代码编写优雅细腻。作者是长期奋战在科研和工业界的一线算法设计和程序编写人员，实战经验丰富，对代码中可能会出现的各种问题和“坑”有丰富的处理经验，使得读者能够少走很多弯路。

（4）理论扎实，深入浅出。在代码设计的基础上，本书还深入浅出地介绍深度学习需要掌握的一些基本理论知识，作者以大量的公式与图示相结合的方式进行理论讲解，是一本难得的好书。

（5）对比多种应用方案，实战案例丰富。本书采用了大量的实例，同时也提供了实现同类功能的多种解决方案，覆盖使用PyTorch 2.0进行深度学习开发常用的知识。

配套示例源代码、PPT课件等资源下载

本书读者

深度学习初学者

PyTorch初学者

PyTorch深度学习项目开发人员

计算机技术、人工智能、智能科学与技术、数据科学与大数据技术等专业的师生

作 者

2023年5月

目 录

第1章 PyTorch 2.0—一个新的开始 1

1.1 燎原之势的人工智能 1

1.1.1 从无到有的人工智能 1

1.1.2 深度学习与人工智能 2

1.1.3 应用深度学习解决实际问题 2

1.1.4 深度学习技术的优势和挑战 3

1.2 为什么选择PyTorch 2.0 4

1.2.1 PyTorch的前世今生 4

1.2.2 更快、更优、更具编译支持—PyTorch 2.0更好的未来 4

1.2.3 PyTorch 2.0学习路径—从零基础到项目实战 5

1.3 本章小结 6

第2章 Hello PyTorch 2.0—深度学习环境搭建 7

2.1 安装Python 7

2.1.1 Miniconda的下载与安装 7

2.1.2 PyCharm的下载与安装 10

2.1.3 Python代码小练习：计算Softmax函数 13

2.2 安装PyTorch 2.0 14

2.2.1 Nvidia 10/20/30/40系列显卡选择的GPU版本 15

2.2.2 PyTorch 2.0 GPU Nvidia运行库的安装—以CUDA 11.7+cuDNN 8.2.0为例 15

2.2.3 PyTorch 2.0小练习：Hello PyTorch 18

2.3 实战：基于PyTorch 2.0的图像去噪 18

2.3.1 MNIST数据集的准备 18

2.3.2 MNIST数据集的特征和标签介绍 20

2.3.3 模型的准备和介绍 21

2.3.4 模型的损失函数与优化函数 24

2.3.5 基于深度学习的模型训练 24

2.4 本章小结 26

第3章 基于PyTorch的MNIST分类实战 27

3.1 实战：基于PyTorch的MNIST手写体分类 27

3.1.1 数据图像的获取与标签的说明 27

3.1.2 模型的准备（多层感知机） 29

3.1.3 损失函数的表示与计算 30

3.1.4 基于PyTorch的手写体识别的实现 31

3.2 PyTorch 2.0模型结构输出与可视化 33

3.2.1 查看模型结构和参数信息 33

3.2.2 基于netron库的PyTorch 2.0模型可视化 34

3.2.3 更多的PyTorch 2.0模型可视化工具 37

3.3 本章小结 38

第4章 深度学习的理论基础 39

4.1 反向传播神经网络的历史 39

4.2 反向传播神经网络两个基础算法详解 43

4.2.1 最小二乘法详解 43

4.2.2 道士下山的故事—梯度下降算法 45

4.2.3 最小二乘法的梯度下降算法以及Python实现 48

4.3 反馈神经网络反向传播算法介绍 54

4.3.1 深度学习基础 54

4.3.2 链式求导法则 55

4.3.3 反馈神经网络的原理与公式推导 56

4.3.4 反馈神经网络原理的激活函数 61

4.3.5 反馈神经网络原理的Python实现 62

4.4 本章小结 66

第5章 基于PyTorch卷积层的MNIST分类实战 67

5.1 卷积运算的基本概念 68

5.1.1 基本卷积运算示例 68

5.1.2 PyTorch 2.0中卷积函数实现详解 70

5.1.3 池化运算 72

5.1.4 Softmax激活函数 73

5.1.5 卷积神经网络的原理 74

5.2 实战：基于卷积的MNIST手写体分类 76

5.2.1 数据准备 77

5.2.2 模型设计 77

5.2.3 基于卷积的MNIST分类模型 78

5.3 PyTorch 2.0的深度可分离膨胀卷积详解 80

5.3.1 深度可分离卷积的定义 81

5.3.2 深度的定义以及不同计算层待训练参数的比较 82

5.3.3 膨胀卷积详解 83

5.4 实战：基于深度可分离膨胀卷积的MNIST手写体识别 84

5.5 本章小结 86

第6章 PyTorch数据处理与模型可视化 87

6.1 用于自定义数据集的torch.utils.data工具箱使用详解 88

6.1.1 使用torch.utils.data.Dataset封装自定义数据集 88

6.1.2 改变数据类型的Dataset类中transform的使用 90

6.1.3 批量输出数据的DataLoader类详解 94

6.2 基于tensorboardX的训练可视化展示 97

6.2.1 tensorboardX的安装与简介 97

6.2.2 tensorboardX可视化组件的使用 97

6.2.3 tensorboardX对模型训练过程的展示 99

6.3 本章小结 102

第7章 从冠军开始—实战ResNet 103

7.1 ResNet基础原理与程序设计基础 103

7.1.1 ResNet诞生的背景 104

7.1.2 不要重复造轮子—PyTorch 2.0中的模块工具 106

7.1.3 ResNet残差模块的实现 107

7.1.4 ResNet网络的实现 109

7.2 实战ResNet：CIFAR-10数据集分类 112

7.2.1 CIFAR-10数据集简介 112

7.2.2 基于ResNet的CIFAR-10数据集分类 115

7.3 本章小结 117

第8章 梅西-阿根廷+巴西=？—有趣的Word Embedding 118

8.1 文本数据处理 119

8.1.1 数据集介绍和数据清洗 119

8.1.2 停用词的使用 121

8.1.3 词向量训练模型Word2Vec使用介绍 124

8.1.4 文本主题的提取：基于TF-IDF 127

8.1.5 文本主题的提取：基于TextRank 131

8.2 更多的Word Embedding方法—FastText和预训练词向量 133

8.2.1 FastText的原理与基础算法 134

8.2.2 FastText训练以及与PyTorch 2.0的协同使用 135

8.2.3 使用其他预训练参数生成PyTorch 2.0词嵌入矩阵（中文） 140

8.3 针对文本的卷积神经网络模型简介—字符卷积 141

8.3.1 字符（非单词）文本的处理 141

8.3.2 卷积神经网络文本分类模型的实现—Conv1d（一维卷积） 149

8.4 针对文本的卷积神经网络模型简介—词卷积 151

8.4.1 单词的文本处理 152

8.4.2 卷积神经网络文本分类模型的实现—Conv2d（二维卷积） 153

8.5 使用卷积实现文本分类的补充内容 156

8.6 本章小结 159

第9章 基于循环神经网络的中文情感分类实战 160

9.1 实战：循环神经网络与情感分类 160

9.1.1 基于循环神经网络的中文情感分类准备 161

9.1.2 基于循环神经网络的中文情感分类实现 163

9.2 循环神经网络理论讲解 165

9.2.1 什么是GRU 166

9.2.2 单向不行，那就双向 167

9.3 本章小结 168