深度学习：数学基础、算法模型与实战

本书以系统性地介绍深度学习理论和相关技术应用为目标，对框架实现及多种深度学习模型进行了详细讲解，并且在介绍计算机图形学（CV）和自然语言处理（NLP）任务之外，还会对科学研究、城市监测等方面的范例应用进行讲解。本书知识全面、实用，共10章，内容包括深度学习数学基础，深度学习基础模型（全连接网络、卷积神经网络、循环神经网络和Transformer等）和实现，多场景多领域最佳实践，模型优化、加速与部署等。本书配套有完整的案例源码，获取方式见封底。

本书适合有数据分析需求的技术人员、科研人员，以及互联网数据分析人员阅读，还可以作为深度学习培训班及相关专业研究生的教学参考用书。

于子叶，中国地震局地球物理研究所副研究员，中国科学院大学博士。主攻自然科学方向的机器学习算法研究，主持机器学习方向的国家青年基金、重点研发专题等重量项目，发表多篇相关论文和著作。从事机器学习教育工作多年，在深度学习教育方面具有丰富的经验。

适读人群 ：有数据分析需求的技术人员、科研人员，以及互联网数据分析人员

本书全面细致的介绍了深度学习算法原理与多领域落地应用。在计算机视觉、自然语言处理等传统方向外，还对自然科学、医疗等方向的应用进行拓展与延伸，方便读者全面认识深度学习并将其应用于自身工作中。

前言第1章 深度学习方法概述/ 1．1阅读本书前需要的准备工作/ 1．2机器学习方法的定义/ 1．3为什么要使用机器学习方法/ 1．4深度学习方法的产生与发展/ 1．5深度学习应用领域与发展前景/ 1．6如何开始学习/ 1．7本书的章节编排/ 1．8总结/第2章 深度学习的数学基础/ 2．1深度学习中的线性代数/ 2．1．1机器学习中的数据与矩阵/ 2．1．2矩阵的运算/ 2．1．3图像的矩阵格式/ 2．1．4文本的矩阵格式/ 2．2优化算法/ 2．2．1求一元函数的极小值问题/ 2．2．2多元函数求导与梯度下降法/ 2．2．3使用PyTorch进行的求导和优化/ 2．2．4方程求解与欠定问题和正则化/ 2．2．5再论双十一预测问题与超定问题/ 2．3概率与统计/ 2．3．1概率、条件概率与贝叶斯理论/ 2．3．2极大似然估计与优选后验估计/ 2．4总结/第3章 深度学习基础模型和实现：全连接网络/ 3．1逻辑回归算法/ 3．1．1数据和模型/ 3．1．2交叉熵损失函数/ 3．1．3小批量梯度下降法/ 3．1．4正则化影响/ 3．2训练集、验证集、测试集及精度评价标准/ 3．2．1分类问题精度评价标准/ 3．2．2回归问题精度评价标准/ 3．2．3过拟合和欠拟合问题/ 3．3多层神经网络模型/ 3．3．1线性可分与线性不可分/ 3．3．2多层神经网络自动构建特征解决分类问题 / 3．3．3神经网络的深度、广度及高层API使用/ 3．4使用NumPy构建神经网络库（复现PyTorch）/ 3．4．1阵求导/ 3．4．2交叉熵损失函数的导数/ 3．4．3自动微分（求导）库的构建/ 3．4．4完善深度学习库的高层API / 3．5回归、分类等监督学习模型/ 3．6深度学习中的优化算法/ 3．6．1带动量的梯度下降法/ 3．6．2均方误差传递迭代算法/ 3．6．3自适应矩估计迭代算法/ 3．7总结/第4章 深度学习基础模型和实现：卷积神经网络/ 4．1信号、图像分析基础/ 4．2从卷积到卷积神经网络/ 4．3卷积神经网络模型的构建/ 4．3．1从神经网络角度看待卷积神经网络/ 4．3．2卷积神经网络其他辅助结构/ 4．4卷积神经网络反向传播算法/ 4．5卷积神经网络的感受野问题/ 4．6总结/第5章 深度学习基础模型和实现：循环神经网络和Transformer/ 5．1文本向量化/ 5．1．1语句、词分割算法之BPE编码/ 5．1．2语句、词分割算法之一元模型/ 5．2循环神经网络和文本建模/ 5．2．1文本分类任务和基础循环神经网络结构/ 5．2．2长短时记忆单元（LSTM）/ 5．2．3门控循环结构/ 5．3PyTorch的数据API使用/ 5．4循环神经网络反向传播/ 5．5文本处理中的前后文问题/ 5．5．1双向循环神经网络结构/ 5．5．2使用卷积神经网络进行文本分词/ 5．6Transformer模型/ 5．6．1向量的加权相加、自注意力机制和多头注意力机制/ 5．6．2位置编码/ 5．6．3注意力掩码与单向模型/ 5．7总结/第6章 深度学习基础模型和实现：深层设计和优化结构/ 6．1构建一个更深的网络/ 6．1．1深度神经网络的结构设计改进/ 6．1．2深度神经网络设计中的梯度消失问题/ 6．1．3残差网络设计/ 6．2标准化层/ 6．2．1批标准化/ 6．2．2层标准化层/ 6．3过拟合问题/ 6．3．1数据增强/深度学习：数学基础、算法模型与实战目录 6．3．2正则化方法/ 6．3．3DropOut层/ 6．4参数初始化和迁移学习/ 6．4．1参数的随机初始化问题/ 6．4．2迁移学习问题/ 6．5总结/第7章 信号和图形学应用/ 7．1信号和图像的滤波与“超级夜景”/ 7．1．1卷积神经网络的上采样方式：转置卷积、插值和像素洗牌 / 7．1．2一维自编码器模型：波形的滤波与重建/ 7．1．3二维数据滤波：图像滤波和超级夜景功能/ 7．2物体检测和时序数据异常检测/ 7．2．1物体检测模型设计：基于滑动窗的物体检测模型/ 7．2．2物体检测模型设计：多物体检测的单一模型/ 7．2．3Faster RCNN：用于物体检测的二阶模型/ 7．2．4用于一维时序数据、波形异常、信号检测/ 7．3图像特征提取与分类问题/ 7．4对抗生成网络模型：图像生成与高频约束问题/ 7．4．1图像生成问题：GAN和ACGAN/ 7．4．2基于对抗生成模型的超分辨率采样任务：SRGAN/ 7．4．3对抗生成网络图像转换实践：Pix2Pix/ 7．4．4非成对的图形转换：CycleGAN/ 7．5变分自编码器/ 7．5．1无监督机器学习与隐变量分析/ 7．5．2变分自编码器模型/ 7．6总结/第8章 自然语言和时序数据处理类应用/8．1单向模型与文本和时序数据预测问题/ 8．1．1中文文本生成/ 8．1．2时序数据（股票等）预测问题/ 8．1．3单向卷积模型：因果卷积/ 8．2基于循环网络的编码解码模型/ 8．2．1基础编码解码结构/ 8．2．2基于循环神经网络的编码解码结构中的文本补0问题/ 8．2．3序列到序列模型中的注意力机制与自然语言翻译/ 8．3基于Transformer模型的自然语言处理模型/ 8．3．1基于Transformer的序列到序列模型/ 8．3．2BERT模型原理/ 8．3．3GPT模型原理 / 8．4总结/第9章 图像、信号、文本等跨模态转换/ 9．1语音识别问题/ 9．1．1基于短时傅里叶变换和CTC模型的语音识别/ 9．1．2卷积神经网络直接处理原始波形进行语音识别/ 9．1．3使用编码解码（Seq2Seq）模型完成语音识别 / 9．2图像文本混合任务 / 9．2．1光学字符识别任务/ 9．2．2图像标题生成/ 9．2．3文本到图像自动合成/ 9．2．4自然科学应用：深度学习层析成像技术/ 9．3强化学习/ 9．4图神经网络/ 9．4．1图及其相关概念/ 9．4．2空间域图卷积神经网络 / 9．4．3谱域图卷积神经网络/ 9．5总结/第10章 深度学习模型压缩与加速/ 10．1对模型进行优化与压缩/ 10．1．1卷积基础结构优化/ 10．1．2卷积层的优化/ 10．1．3批标准化层融合/ 10．1．4知识蒸馏/ 10．2深度学习模型压缩和量化/ 10．2．1深度学习模型浮点计算精度/ 10．2．2深度学习模型量化/ 10．2．3量化模型计算实现/ 10．3模型部署/ 10．4总结