零基础实践深度学习

《零基础实践深度学习》从人工智能、机器学习和深度学习三者的关系开始，以深度学习在计算机视觉、自然语言处理和推荐系统的应用实践为主线，逐步剖析模型原理和代码实现。书中的内容深入浅出，通过原理与代码结合、产业实践和作业题结合的方式，帮助读者更好掌握深度学习的相关知识和深度学习开源框架的使用方法。为了让更多的读者从中受益，快速应对复杂多变的AI应用，书中还介绍各种模型资源和辅助工具，旨在帮助读者在人工智能的战场上武装到牙齿，和“AI大师”一样无往不利。

人工智能是一门跨学科的技术，本书可作为深度学习的入门读物，也可作为人工智能或相关学科本科生和研究生的教材，还可供AI爱好者和从业者使用。

毕然，百度杰出架构师，飞桨产品负责人，专注数据分析、商业战略、机器学习和人工智能等领域。曾担任百度搜索战略分析负责人、视觉搜索算法负责人等，获得首届百度z高奖。出品过《大数据分析的道与术》、《机器学习的思考故事》、《零基础实践深度学习》和《如何系统化的分析业务和战略》等系列课程，其中前三个课程著有同名书籍。

作为一名在人工智能领域搬砖了十几年的老工匠，我非常高兴与大家共同学习和探讨深度学习的那些事儿。书中阐述的很多观点和实践，都是我多年来的教学经验和项目经验累积，是入门深度学习必须要掌握的基本功。感谢读者朋友们选择本书作为开启深度学习实践的教材，期待阅读本书后，大家可以领悟并掌握深度学习的“套路”，并举一反三，轻松驾驭学业和工作中与深度学习相关的任务。

2020年，COVID19席卷全球、国际形势瞬息万变，加速了中国产业政策和基础教育的变革，同时也加快了走出“舒适区”的步伐。不难想象，未来20年，中国的人工智能必将进入高速发展阶段，机遇与挑战并存。“乘风破浪会有时，直挂云帆济沧海”，我很期待下一代人工智能的领航人能在中国诞生，能在本书的读者中产生。

特色一： 理论和代码结合、实践与平台结合，帮助读者快速掌握深度学习基本功

目前在市面上，关于人工智能和深度学习的图书已经汗牛充栋，但大多偏重理论，对于AI实践应用的介绍涉猎较少。但以我多年的经验来看，作为深度学习的初学者，应该更需要一本理论和代码结合、实践与平台结合的书，因为多数开发者更习惯通过实践代码来理解模型背后的原理。本书介绍的内容和相关代码，都配有在线课程，读者可扫描封底的二维码获取。在线课程以Jupyter notebook的方式呈现，代码可以在线运行。

建议本书最佳的阅读方式： 阅读本书时，读者可以观看视频课程，同时在线运行实践代码，观察打印结果。通过纸质图书、线上课程视频和交互式的编程平台三位一体的设计策略，可以帮助读者在最短的时间内，轻松愉悦地掌握深度学习的基本功，这就是本书撰写的初衷。

■图理论知识讲解和可运行代码演示一体化

特色二： 工业实践案例和作业结合，帮助读者快速具备深度学习应用的能力

很多接触深度学习时间不是很长的开发者都会面临一个困惑，虽然系统学习了很多相关课程，能独立实践经典的学术问题，并追平领先的效果，但在产业应用时，仍然信心不足，感觉自己和在工业界摸爬滚打多年的工程师们有很大的差距。因此本书在撰写时，除了选取一些经典的学术问题，作为介绍深度学习知识的案例外，还选取了一些真实的工业实践项目，作为比赛题和作业题。这些项目都来源于百度工程师正在研发的与人工智能相关的工业应用。

在这些真实的工业实践项目中，读者会接触到很多独有的数据集和有趣的问题，并和成千上万的读者们共同较量模型优化的效果。如果您能在这些实践中独占鳌头，那么恭喜您，与在人工智能前端冲浪已久的工程师们相比，您已经毫不逊色。如果愿意，您甚至可以尝试面试顶级科技公司，从事与人工智能相关的研发工作。

特色三： 深度学习全流程工具支撑，帮助读者武装到牙齿

在人工智能应用飞速落地的今天，如何实现快速建模，如何提升模型的训练和部署效率，已经成为工业界普遍关注的课题。因此本书在介绍深度学习的各种“生存技巧”之后，还为读者配备了飞桨“最先进武器”，内容由“武器”的制造者——飞桨产品架构师们共同撰写。高超生存技巧，配以先进的武器，相信可以让读者更加自信地驾驭这场轰轰烈烈的AI浪潮，并大放异彩。

全书共8章，可分为3部分： 第1部分包括第1~2章，以最基础的深度学习任务（房价预测和手写数字识别）为例，内容由浅入深，层层剖析，帮助读者入门深度学习的编程并掌握深度学习各环节的优化方法； 第2部分包括第3~7章，以计算机视觉、自然语言处理和推荐系统三个深度学习最常用领域的典型任务为例，介绍各领域的基础知识和应用深度学习解决实际问题的方案及实践过程，帮助读者对深度学习模型有更深刻的理解； 第3部分为第8章，系统化地介绍飞桨提供的各种武器，包括模型资源、工业化训练和部署工具，以及如何基于飞桨进行二次研发。

特别感谢王海峰老师在百忙中给本书作序，您对人工智能发展趋势的深刻理解为我们提供了方向指引； 感谢吴甜女士的指导和帮助，您对人工智能技术的热爱、对AI人才的重视和培育让本书的诞生成为可能； 感谢马艳军、于佃海、李轩涯、周奇在本书撰写过程中的大力支持，让其更匹配深度学习读者的需求； 感谢飞桨研发工程师们为本书的写作提供基础素材和提供简洁、高效、易用的实践代码； 最后还要感谢迟恺、吴蕾、聂浪、张克明、钱芳、郑子禾等同学对于本书细致入微的编辑和校对。

如果通过本书的学习，能够让读者得到开悟，并激发大家在深度学习领域持续深耕的兴趣，那将是本书作者的最大的荣幸。由于本书作者学识有限，深度学习方法也还在不断完善，书中难免存在疏漏，希望读者朋友不吝赐教，共同将这本书打造得更完美。

百度杰出架构师、飞桨产品负责人

2020年11月于北京

第1章零基础入门深度学习

1.1机器学习和深度学习综述

1.1.1人工智能、机器学习、深度学习的关系

1.1.2机器学习

1.1.3深度学习

1.1.4作业

1.2使用Python和NumPy构建神经网络模型

1.2.1波士顿房价预测任务

1.2.2构建波士顿房价预测任务的神经网络模型

1.2.3小结

1.2.4作业

1.3飞桨开源深度学习平台介绍

1.3.1深度学习框架

1.3.2飞桨开源深度学习平台

1.3.3作业

1.4使用飞桨重写房价预测模型

1.4.1飞桨深度学习平台设计之“道”

1.4.2使用飞桨构建波士顿房价预测模型

1.4.3作业

1.5NumPy介绍

1.5.1概述

1.5.2基础数据类型： ndarray数组

1.5.3随机数np.random

1.5.4线性代数

1.5.5NumPy保存和导入文件

1.5.6NumPy应用举例

1.5.7作业

第2章一个案例带你吃透深度学习

2.1使用飞桨完成手写数字识别模型

2.1.1手写数字识别任务

2.1.2构建手写数字识别的神经网络模型

2.1.3飞桨各模型代码结构一致，大大降低了用户的编码难度

2.1.4采用“横纵式”教学法，适用于深度学习初学者

2.2通过极简方案快速构建手写数字识别模型

2.2.1通过极简方案构建手写数字识别模型

2.2.2作业

2.3“手写数字识别”之数据处理

2.3.1概述

2.3.2读入数据并划分数据集

2.3.3训练样本乱序并生成批次数据

2.3.4校验数据有效性

2.3.5封装数据读取与处理函数

2.3.6异步数据读取

2.4“手写数字识别”之网络结构

2.4.1概述

2.4.2经典的全连接神经网络

2.4.3卷积神经网络

2.5“手写数字识别”之损失函数

2.5.1概述

2.5.2分类任务的损失函数

2.5.3作业

2.6“手写数字识别”之优化算法

2.6.1概述

2.6.2设置学习率

2.6.3学习率的主流优化算法

2.6.4作业

2.7“手写数字识别”之资源配置

2.7.1概述

2.7.2单GPU训练

2.7.3分布式训练

2.8“手写数字识别”之训练调试与优化

2.8.1概述

2.8.2计算模型的分类准确率

2.8.3检查模型训练过程，识别潜在训练问题

2.8.4加入校验或测试，更好评价模型效果

2.8.5加入正则化项，避免模型过拟合

2.8.6可视化分析

2.8.7作业

2.9“手写数字识别”之恢复训练

2.9.1概述

2.9.2恢复训练

2.10完整掌握深度学习建模小结

第3章计算机视觉

3.1卷积神经网络基础

3.1.1概述

3.1.2卷积神经网络

3.1.3作业

3.2卷积的四种操作

3.2.1概述

3.2.2池化

3.2.3ReLU激活函数

3.2.4批归一化

3.2.5丢弃法

3.2.6作业

3.3图像分类

3.3.1概述

3.3.2LeNet

3.3.3AlexNet

3.3.4VGG

3.3.5GoogLeNet

3.3.6ResNet

3.3.7小结

3.3.8作业

第4章目标检测YOLOv3

4.1目标检测基础概念

4.1.1概述

4.1.2目标检测发展历程

4.1.3目标检测基础概念

4.2目标检测数据处理

4.3目标检测YOLOv3

4.3.1YOLOv3模型设计思想

4.3.2产生候选区域

4.3.3对候选区域进行标注

4.3.4图形特征提取

4.3.5计算预测框位置和类别

4.3.6定义损失函数

4.3.7多尺度检测

4.3.8网络训练

4.3.9模型预测

4.3.10模型效果及可视化展示

4.4AI识虫比赛

4.4.1AI识虫比赛

4.4.2实现参考

4.4.3更多思路参考

第5章自然语言处理

5.1自然语言处理

5.1.1概述

5.1.2自然语言处理的发展历程

5.1.3自然语言处理技术面临的挑战

5.1.4自然语言处理的常见任务

5.1.5使用深度学习解决自然语言处理任务的套路

5.1.6使用飞桨探索自然语言处理

5.1.7作业

5.2词向量Word Embedding

5.2.1概述

5.2.2如何将词转换为向量

5.2.3如何让向量具有语义信息

5.3使用飞桨实现Skipgram

5.3.1概述

5.3.2数据处理

5.3.3网络定义

5.3.4网络训练

5.3.5词向量的有趣使用

5.3.6作业

第6章情感分析

6.1自然语言情感分析

6.1.1概述

6.1.2使用深度神经网络完成情感分析任务

6.1.3作业

6.2循环神经网络RNN和长短时记忆网络LSTM

6.2.1RNN和LSTM网络的设计思考

6.2.2循环神经网络RNN

6.2.3长短时记忆网络LSTM

6.2.4作业

6.3使用LSTM完成情感分析任务

6.3.1概述

6.3.2使用飞桨实现基于LSTM的情感分析模型

6.4AI文本分类比赛

6.4.1中文新闻标题分类比赛

6.4.2更多思路参考

第7章推荐系统

7.1推荐系统介绍

7.1.1推荐系统的产生背景

7.1.2推荐系统的基本概念

7.1.3思考有哪些信息可以用于推荐

7.1.4使用飞桨探索电影推荐

7.1.5作业

7.2数据处理与读取

7.2.1数据集回顾

7.2.2数据处理流程

7.2.3构建数据读取器

7.2.4小结

7.3电影推荐模型设计

7.3.1模型设计介绍

7.3.2Embedding介绍

7.3.3电影特征提取网络

7.3.4相似度计算

7.3.5小结

7.4模型训练与特征保存

7.4.1模型训练

7.4.2保存特征

7.4.3作业

7.5电影推荐

7.5.1根据用户喜好推荐电影

7.5.2几点思考收获

7.5.3在工业实践中的推荐系统

7.5.4作业

第8章精通深度学习的高级内容

8.1精通深度学习的高级内容

8.1.1为什么要精通深度学习的高级内容

8.1.2高级内容包含哪些武器

8.1.3飞桨开源组件使用场景概览

8.2模型资源之一： 预训练模型应用工具PaddleHub

8.2.1概述

8.2.2预训练模型的应用背景

8.2.3快速使用PaddleHub

8.2.4PaddleHub提供的预训练模型

8.2.5使用自己的数据Finetune PaddleHub预训练模型

8.2.6PaddleHub创意赛

8.2.7往届优秀学员作品展示

8.3模型资源之二： 各领域的开发套件

8.3.1概述

8.3.2PaddleSeg用于解决图像分割的问题

8.3.3PaddleSeg是开发套件，不仅是模型库

8.3.4PaddleSeg实战

8.3.5作业

8.3.6相关参考

8.3.7往届优秀学员作品展示

8.4模型资源之三： 模型库介绍

8.4.1概述

8.4.2从模型库中筛选自己需要的模型

8.4.3使用飞桨模型库或在其基础上二次研发的优势

8.4.4一个案例掌握Models的使用方法

8.4.5相关参考

8.5设计思想、静态图、动态图和二次研发

8.5.1飞桨设计思想的核心概念

8.5.2飞桨声明式编程(静态图)与命令式编程(动态图)

8.5.3飞桨二次研发

8.6工业部署

8.6.1概述

8.6.2飞桨模型部署组件介绍

8.6.3飞桨原生推理库Paddle Inference

8.6.4飞桨服务化部署框架Paddle Serving

8.6.5飞桨轻量化推理引擎Paddle Lite

8.6.6飞桨模型压缩工具PaddleSlim

8.6.7往届优秀学员作品展示

8.7飞桨全流程开发工具PaddleX

8.7.1飞桨全流程开发工具PaddleX

8.7.2PaddleX图形化开发界面

8.7.3PaddleX 快速使用方法

8.7.4PaddleX客户端使用方法

8.7.5往届优秀学员作品展示

8.8应用启发： 行业应用与项目案例

8.8.1人工智能在中国的发展和落地概况

8.8.2传统行业有AI应用空间吗

8.8.3项目案例： 飞桨助力国网山东进行输电通道可视化巡检

8.8.4作业

8.8.5往届优秀学员作品展示

深度学习，动手实操深度学习