深度学习与目标检测

本书的写作初衷是，从学者的角度，用一种通俗易懂的方式，把与基于深度学习的目标检测的相关论文中的理论和方法呈现给读者，同时针对作者在深度学习教学过程中遇到的难点，进行深入的分析和讲解。本书侧重对卷积神经网络的介绍，而深度学习的内容不止于此。所以，作者将深度学习分为有监督学习、无监督学习和强化学习三类，将图像分类、目标检测、语音识别、人脸识别、对抗生成网络和AlphaGo围棋等应用场景归入不同的类别，并分别对其原理进行了概括性的讲解。

本书适合有一定深度学习或目标检测学习基础的学生、研究者、从业者阅读。

杜鹏，博士，现任职于华为。2014年起在韩国科学技术学院和新加坡南洋理工大学从事博士后研究。回国后，曾任杭州电子科技大学副教授、浙江核新同花顺网络信息股份有限公司算法研究员。2018年被NVIDIA深度学习学院评为优秀校园大使，在SIGGRAPH、PG等国际著名学术会议发表论文10余篇。

谌明，博士。2004年加入美国道富集团，2011年加入浙江核新同花顺网络信息股份有限公司并任首席技术官，推动了包括计算机视觉、语音技术、自然语言处理、机器学习等技术在金融、医疗等领域的商业化落地。

苏统华，博士，哈尔滨工业大学副教授，自然手写中文文本识别的开拓者。曾出版手写汉字识别领域的首本英文专著，以及7本GPU计算和大数据分析方面的译作，所领导的NVIDIA GPU教育中心连续4年被NVIDIA评为中国区优秀GPU教育中心。

如果你是深度学习爱好者，本书带你从理论到实践一览深度学习的基本概念及其在目标检测领域的应用。
如果你是人工智能从业者，你能获得深度学习与目标检测知识的梳理及工程实践的启发。

序

深度学习自2006年被正式提出后，经过10余年的发展，已经在很多领域取得了突破性的进展。2015年，深度学习在著名的图像分类数据集ImageNet上成功超越了人类的分类准确率。2016年，深度学习应用于强化学习领域，在围棋项目上击败了最优秀的人类棋手。2019年，在《星际争霸Ⅱ》这样复杂的游戏项目中，深度学习同样击败了人类职业选手。
尽管深度学习让人工智能的实现变得似乎不再那么遥不可及，但是在目标检测领域，深度学习还没能让计算机超越人类。因此，系统性地整理这个领域的研究成果并成书，让更多的人参与进来，对推动深度学习在目标检测领域的研究具有积极的意义。
本书从深度学习的发展历史开始，为读者介绍了机器学习的各个流派在深度学习出现后的代表性研究成果。然后，介绍了成熟的深度学习方法和技术，以及两阶段和单阶段的基于深度学习的目标检测方法。本书内容由浅入深，适合不同层次的读者阅读，我本人读后也收获颇丰，感觉大有裨益。
本书不仅梳理了在目标检测领域应用深度学习之后出现的主流方法，还讲解了具体的训练过程，为读者学习深度学习的参数调节打下了基础，使读者能更加全面地了解相关算法，在真正进入这个领域时更容易上手。对于已经熟悉这个领域的读者，通过反复研读本书的内容，可以使自己对调参的理解更加透彻。
除了以上内容，本书还介绍了目标检测算法在一些实际问题中的应用案例。应用案例覆盖面广，并涉及当下热门的人工智能创业场景——智慧医疗和智慧交通。对每个案例，都介绍了国内外的研究现状，给出了解决方案，并详细描述了预处理、算法实现细节和实验结果。这些专门强调的细节，不仅是深度学习在不同目标检测领域得以成功应用的关键，而且能帮助读者提高解决实际问题的能力。
我期待这本书能帮助更多的读者了解深度学习和目标检测领域的前沿知识，更期待这本书的读者将来能让计算机拥有超越人类的目标检测能力。

何晓飞

前言

时光飞逝，从2018年3月开始组织素材到本书出版，一年多的时间过去了。
创作本书的初衷是希望从学者的角度，用一种通俗易懂的方式，将基于深度学习的目标检测的相关论文中的理论和方法呈现给读者。因此，本书选取了R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN、SSD、RetinaNet、RefineDet、YOLO、等典型的目标检测网络及Mask R-CNN、U-Net、SegNet等实例分割网络进行介绍，同时针对笔者在深度学习教学过程中遇到的难点进行了深入的分析和讲解。此外，结合三位作者的研究成果，给出了目标检测在医疗、交通等领域的深度学习应用案例。
本书侧重于卷积神经网络，而深度学习的内容不止于此。所以，笔者将深度学习分为有监督学习、无监督学习和强化学习三类，将图像分类、目标检测、人脸识别、语音识别、生成对抗网络、AlphaGo等应用场景归入不同的类别，并分别对其原理进行了概括性的讲解。
本书分为三篇，第1章~第3章为基础篇，第4章和第5章为进阶篇，第6章～第9章为应用篇。
* 第1章介绍了深度学习的典型应用。
* 第2章介绍了深度神经网络的基础知识。
* 第3章介绍了卷积神经网络的基础知识，以及典型的卷积神经网络。
* 第4章介绍了两阶段目标检测方法和相应的分割算法。
* 第5章介绍了单阶段目标检测方法。
* 第6章给出了肋骨骨折检测的应用案例。
* 第7章给出了肺结节检测的应用案例。
* 第8章给出了车道线检测的应用案例。
* 第9章给出了交通视频分析的应用案例。
本书提到的参考链接列表，请读者访问http://www.broadview.com.cw/36785下载。
杜鹏、谌明负责前七章内容的编写，苏统华负责后两章内容的编写。第6章～第9章的实验部分由汪纯、许卫东、金弘晟、李松泽、孙黎完成。罗同桉、张栋、胡明玥、陈希坚等同学参与了本书的编写。金耀博士参与了本书的审校。对此，我们表示衷心的感谢。同时，感谢浙江省公益基金（No.LGF19F020014）和国家自然科学基金（No.61673140和No.81671771）对本书的资助。
近一年来，以FCOS、CornerNet-Lite、CenterNet为代表的无锚点碰撞检测成为目标检测领域的一个新的研究热点。这类方法与基于锚点的目标检测算法相比，缩减了超参数的数量并提升了精度和性能，但受时间所限，本书无法对这部分内容进行详细介绍，请感兴趣的读者参考相关文献。
本书的不足之处，恳请各位读者批评、指正。

杜鹏、谌明、苏统华
2019年11月

基础篇

第1章 深度学习概述 2

1.1 深度学习发展简史 2

1.2 有监督学习 4

1.2.1 图像分类 4

1.2.2 目标检测 6

1.2.3 人脸识别 10

1.2.4 语音识别 13

1.3 无监督学习 18

1.3.1 无监督学习概述 18

1.3.2 生成对抗网络 18

1.4 强化学习 21

1.4.1 AlphaGo 21

1.4.2 AlphaGo Zero 23

1.5 小结 25

参考文献 25

第2章 深度神经网络 27

2.1 神经元 27

2.2 感知机 30

2.3 前向传递 32

2.3.1 前向传递的流程 32

2.3.2 激活函数 33

2.3.3 损失函数 37

2.4 后向传递 40

2.4.1 后向传递的流程 40

2.4.2 梯度下降 40

2.4.3 参数修正 42

2.5 防止过拟合 44

2.5.1 dropout 44

2.5.2 正则化 45

2.6 小结 46

第3章 卷积神经网络 47

3.1 卷积层 48

3.1.1 valid 卷积 48

3.1.2 full 卷积 50

3.1.3 same 卷积 51

3.2 池化层 52

3.3 反卷积 53

3.4 感受野 55

3.5 卷积网络实例 56

3.5.1 Lenet-5 56

3.5.2 AlexNet 59

3.5.3 VGGNet 62

3.5.4 GoogLeNet 64

3.5.5 ResNet 72

3.5.6 MobileNet 73

3.6 小结 76

进阶篇

第4章 两阶段目标检测方法 78

4.1 R-CNN 78

4.1.1 算法流程 79

4.1.2 训练过程 80

4.2 SPP-Net 83

4.2.1 网络结构 84

4.2.2 空间金字塔池化 84

4.3 Fast R-CNN 86

4.3.1 感兴趣区域池化层 86

4.3.2 网络结构 88

4.3.3 全连接层计算加速 89

4.3.4 目标分类 90

4.3.5 边界框回归 91

4.3.6 训练过程 93

4.4 Faster R-CNN 96

4.4.1 网络结构 97

4.4.2 RPN 98

4.4.3 训练过程 104

4.5 R-FCN 106

4.5.1 R-FCN 网络结构 107

4.5.2 位置敏感的分数图 108

4.5.3 位置敏感的RoI 池化 109

4.5.4 R-FCN 损失函数 110

4.5.5 Caffe 网络模型解析 111

4.6 Mask R-CNN 115

4.6.1 实例分割简介 115

4.6.2 COCO 数据集的像素级标注 116

4.6.3 网络结构 117

4.6.4 U-Net 121

4.6.5 SegNet 122

4.7 小结 123

第5章 单阶段目标检测方法 124

5.1 SSD 124

5.1.1 default box 125

5.1.2 网络结构 125

5.1.3 Caffe 网络模型解析 126

5.1.4 训练过程 134

5.2 RetinaNet 136

5.2.1 FPN 136

5.2.2 聚焦损失函数 138

5.3 RefineDet 139

5.3.1 网络模型 140

5.3.2 Caffe 网络模型解析 142

5.3.3 训练过程 151

5.4 YOLO 152

5.4.1 YOLO v1 152

5.4.2 YOLO v2 155

5.4.3 YOLO v3 157

5.5 目标检测算法应用 159

5.5.1 高速公路坑洞检测 159

5.5.2 息肉检测 160

5.6 小结 162

应用篇

第6章 肋骨骨折检测 164

6.1 国内外研究现状 165

6.2 解决方案 166

6.3 预处理 166

6.4 肋骨骨折检测 167

6.5 实验结果分析 168

6.6 小结 170

参考文献 171

第7章 肺结节检测 172

7.1 国内外研究现状 172

7.1.1 肺结节可疑位置推荐算法 173

7.1.2 假阳性肺结节抑制算法 173

7.2 总体框架 174

7.2.1 肺结节数据集 174

7.2.2 肺结节检测难点 175

7.2.3 算法框架 175

7.3 肺结节可疑位置推荐算法 176

7.3.1 CT图像的预处理 177

7.3.2 肺结节分割算法 178

7.3.3 优化方法 180

7.3.4 推断方法 182

7.4 可疑肺结节定位算法 183

7.5 实验结果与分析 184

7.5.1 实验结果 184

7.5.2 改进点效果分析 184

7.6 假阳性肺结节抑制算法 186

7.6.1 假阳性肺结节抑制网络 186

7.6.2 优化策略 190

7.6.3 推断策略 192

7.7 实验结果与分析 192

7.7.1 实验结果 193

7.7.2 改进点效果分析 193

7.7.3 可疑位置推荐与假阳抑制算法整合 194

7.8 小结 195

参考文献 195

第8章 车道线检测 198

8.1 国内外研究现状 198

8.2 主要研究内容 200

8.2.1 总体解决方案 200

8.2.2 各阶段概述 201

8.3 车道线检测系统的设计与实现 204

8.3.1 车道线图像数据标注与筛选 205

8.3.2 车道线图片预处理 206

8.3.3 车道线分割模型训练 211

8.3.4 车道线检测 220

8.3.5 车道线检测结果 224

8.4 车道线检测系统的性能测试 224

8.4.1 车道线检测质量测试 224

8.4.2 车道线检测时间测试 226

8.5 小结 227

参考文献 227

第9章 交通视频分析 229

9.1 国内外研究现状 230

9.2 主要研究内容 231

9.2.1 总体设计 231

9.2.2 精度和性能要求 232

9.3 交通视频分析 232

9.3.1 车辆检测和车牌检测 233

9.3.2 车牌识别功能设计详解 235

9.3.3 车辆品牌及颜色的识别 243

9.3.4 目标跟踪设计详解 244

9.4 系统测试 247

9.4.1 车辆检测 248

9.4.2 车牌检测 251

9.4.3 车牌识别 253

9.4.4 车辆品牌识别 256

9.4.5 目标跟踪 259

9.5 小结 259

参考文献 260