深度学习：原理与应用实践

　　《深度学习：原理与应用实践》全面、系统地介绍深度学习相关的技术，包括人工神经网络，卷积神经网络，深度学习平台及源代码分析，深度学习入门与进阶，深度学习高级实践，所有章节均附有源程序，所有实验读者均可重现，具有高度的可操作性和实用性。通过学习本书，研究人员、深度学习爱好者，能够在3 个月内，系统掌握深度学习相关的理论和技术。

　　张重生，男，博士，教授，硕士生导师，河南大学大数据研究中心、大数据团队带头人。研究领域为大数据分析、深度学习、数据挖掘、数据库、数据流（实时数据分析）。博士毕业于 INRIA,France(法国国家信息与自动化研究所)，获得优秀博士论文荣誉。2010年08月至2011年3月，在美国加州大学洛杉矶分校(UCLA)，计算机系，师从著名的数据库专家Carlo Zaniolo教授，从事数据挖掘领域的合作研究。 2012-2013,挪威科技大学，ERCIM/Marie-Curie Fellow。

本书全面、系统地介绍深度学习相关的技术，所有章节均附有源程序，所有实验读者均可重现，具有高度的可操作性和实用性。

如今，深度学习是国际上非常活跃、非常多产的研究领域，它被广泛应用于计算机视觉、图像分析、语音识别和自然语言处理等诸多领域。在多个领域上，深度神经网络已大幅超越了已有算法的性能。

本书是深度学习领域的一本力作。它对深度神经网络尤其是卷积神经网络进行介绍，且注重深度学习的实际应用。而且，本书还对深度学习研发现状进行总结和阐述，包括Google 和Facebook。本书通过示例的方式详解深度学习的具体应用，包括手写数字识别，物体识别，及以人为中心的计算（包括人脸识别、人脸表情识别、年龄估计、人脸关键点定位等）。本书也介绍了深度学习Caffe 和Pylearn2 两个平台，并给出具体示例，介绍如何使用。

本书的所有实验均可重现，对初学者、研究生和工程师有重要参考价值，能够帮助读者掌握深度学习的实战技能。我在访问河南大学期间与本书作者相识。作者和他的学生为本书的出版投入了1 年多的时间，付出了巨大的心血。我相信，本书将会被中国科技界所认可。

Ioannis Pitas

IEEE Fellow

亚里士多德

深度学习基础篇

第1 章 绪论 2

1．1 引言 2

1．1．1 Google 的深度学习成果 2

1．1．2 Microsoft 的深度学习成果 3

1．1．3 国内公司的深度学习成果 3

1．2 深度学习技术的发展历程 4

1．3 深度学习的应用领域 6

1．3．1 图像识别领域 6

1．3．2 语音识别领域 6

1．3．3 自然语言理解领域 7

1．4 如何开展深度学习的研究和应用开发 7

本章参考文献 11

第2 章 国内外深度学习技术研发现状及其产业化趋势 13

2．1 Google 在深度学习领域的研发现状 13

2．1．1 深度学习在Google 的应用 13

2．1．2 Google 的TensorFlow 深度学习平台 14

2．1．3 Google 的深度学习芯片TPU 15

2．2 Facebook 在深度学习领域的研发现状 15

2．2．1 Torchnet 15

2．2．2 DeepText 16

2．3 百度在深度学习领域的研发现状 17

2．3．1 光学字符识别 17

2．3．2 商品图像搜索 17

2．3．3 在线广告 18

2．3．4 以图搜图 18

2．3．5 语音识别 18

2．3．6 百度开源深度学习平台MXNet 及其改进的深度语音识别系统Warp-CTC 19

2．4 阿里巴巴在深度学习领域的研发现状 19

2．4．1 拍立淘 19

2．4．2 阿里小蜜――智能客服Messenger 20

2．5 京东在深度学习领域的研发现状 20

2．6 腾讯在深度学习领域的研发现状 21

2．7 科创型公司（基于深度学习的人脸识别系统） 22

2．8 深度学习的硬件支撑――NVIDIA GPU 23

本章参考文献 24

深度学习理论篇

第3 章 神经网络 30

3．1 神经元的概念 30

3．2 神经网络 31

3．2．1 后向传播算法 32

3．2．2 后向传播算法推导 33

3．3 神经网络算法示例 36

本章参考文献 38

第4 章 卷积神经网络 39

4．1 卷积神经网络特性 39

4．1．1 局部连接 40

4．1．2 权值共享 41

4．1．3 空间相关下采样 42

4．2 卷积神经网络操作 42

4．2．1 卷积操作 42

4．2．2 下采样操作 44

4．3 卷积神经网络示例：LeNet-5 45

本章参考文献 48

深度学习工具篇

第5 章 深度学习工具Caffe 50

5．1 Caffe 的安装 50

5．1．1 安装依赖包 51

5．1．2 CUDA 安装 51

5．1．3 MATLAB 和Python 安装 54

5．1．4 OpenCV 安装（可选） 59

5．1．5 Intel MKL 或者BLAS 安装 59

5．1．6 Caffe 编译和测试 59

5．1．7 Caffe 安装问题分析 62

5．2 Caffe 框架与源代码解析 63

5．2．1 数据层解析 63

5．2．2 网络层解析 74

5．2．3 网络结构解析 92

5．2．4 网络求解解析 104

本章参考文献 109

第6 章 深度学习工具Pylearn2 110

6．1 Pylearn2 的安装 110

6．1．1 相关依赖安装 110

6．1．2 安装Pylearn2 112

6．2 Pylearn2 的使用 112

本章参考文献 116

深度学习实践篇（入门与进阶）

第7 章 基于深度学习的手写数字识别 118

7．1 数据介绍 118

7．1．1 MNIST 数据集 118

7．1．2 提取MNIST 数据集图片 120

7．2 手写字体识别流程 121

7．2．1 模型介绍 121

7．2．2 操作流程 126

7．3 实验结果分析 127

本章参考文献 128

第8 章 基于深度学习的图像识别 129

8．1 数据来源 129

8．1．1 Cifar10 数据集介绍 129

8．1．2 Cifar10 数据集格式 129

8．2 Cifar10 识别流程 130

8．2．1 模型介绍 130

8．2．2 操作流程 136

8．3 实验结果分析 139

本章参考文献 140

第9 章 基于深度学习的物体图像识别 141

9．1 数据来源 141

9．1．1 Caltech101 数据集 141

9．1．2 Caltech101 数据集处理 142

9．2 物体图像识别流程 143

9．2．1 模型介绍 143

9．2．2 操作流程 144

9．3 实验结果分析 150

本章参考文献 151

第10 章 基于深度学习的人脸识别 152

10．1 数据来源 152

10．1．1 AT＆T Facedatabase 数据库 152

10．1．2 数据库处理 152

10．2 人脸识别流程 154

10．2．1 模型介绍 154

10．2．2 操作流程 155

10．3 实验结果分析 159

本章参考文献 160

深度学习实践篇（高级应用）

第11 章 基于深度学习的人脸识别――DeepID 算法 162

11．1 问题定义与数据来源 162

11．2 算法原理 163

11．2．1 数据预处理 163

11．2．2 模型训练策略 164

11．2．3 算法验证和结果评估 164

11．3 人脸识别步骤 165

11．3．1 数据预处理 165

11．3．2 深度网络结构模型 168

11．3．3 提取深度特征与人脸验证 171

11．4 实验结果分析 174

11．4．1 实验数据 174

11．4．2 实验结果分析 175

本章参考文献 176

第12 章 基于深度学习的表情识别 177

12．1 表情数据 177

12．1．1 Cohn-Kanade（CK+）数据库 177

12．1．2 JAFFE 数据库 178

12．2 算法原理 179

12．3 表情识别步骤 180

12．3．1 数据预处理 180

12．3．2 深度神经网络结构模型 181

12．3．3 提取深度特征及分类 182

12．4 实验结果分析 184

12．4．1 实现细节 184

12．4．2 实验结果对比 185

本章参考文献 188

第13 章 基于深度学习的年龄估计 190

13．1 问题定义 190

13．2 年龄估计算法 190

13．2．1 数据预处理 190

13．2．2 提取深度特征 192

13．2．3 提取LBP 特征 196

13．2．4 训练回归模型 196

13．3 实验结果分析 199

本章参考文献 199

第14 章 基于深度学习的人脸关键点检测 200

14．1 问题定义和数据来源 200

14．2 基于深度学习的人脸关键点检测的步骤 201

14．2．1 数据预处理 201

14．2．2 训练深度学习网络模型 206

14．2．3 预测和处理关键点坐标 207

本章参考文献 212

深度学习总结与展望篇

第15 章 总结与展望 214

15．1 深度学习领域当前的主流技术及其应用领域 214

15．1．1 图像识别 214

15．1．2 语音识别与自然语言理解 215

15．2 深度学习的缺陷 215

15．2．1 深度学习在硬件方面的门槛较高 215

15．2．2 深度学习在软件安装与配置方面的门槛较高 216

15．2．3 深度学习最重要的问题在于需要海量的有标注的数据作为支撑 216

15．2．4 深度学习的最后阶段竟然变成枯燥、机械、及其耗时的调参工作 217

15．2．5 深度学习不适用于数据量较小的数据 218

15．2．6 深度学习目前主要用于图像、声音的识别和自然语言的理解 218

15．2．7 研究人员从事深度学习研究的困境 219

15．3 展望 220

本章参考文献 220