面向自动驾驶的交通标识视觉感知

自动驾驶通过车载多传感器系统获知周围实时环境信息，计算处理后经过合理的决策规划从而控制车辆的运动。本书从基于图像的视觉感知角度出发，对面向自动驾驶的交通标识视觉感知相关技术进行系统分析和介绍，主要内容包括基于深度学习的视觉感知、交通标识的视觉识别、双目视觉与交通标识测距、车道线检测、面向自动驾驶的嵌入式系统、视觉感知在自动驾驶中的应用展望等。

本书可以作为高等院校电子信息、交通工程和自动驾驶等相关专业本科生或研究生的参考书。本书中的实例均经过实践验证，可供从事自动驾驶汽车相关工作的工程技术人员参考和使用。

基于视觉的自动驾驶汽车环境感知中的交通标识识别，从算法和硬件平台两个角度出发进行平台的设计与实现

自动驾驶汽车是人类道路交通工具的未来发展形态，将对人类社会的各方面产生广泛而深远的影响。自动驾驶汽车具有减少道路交通事故、缓解城市交通拥堵并减少环境污染等诸多优势。自动驾驶技术是一个涉及车辆工程、计算机科学、人工智能、模式识别和智能控制的多学科、跨学科综合研究领域，是人工智能技术在汽车领域的关键应用。自动驾驶汽车的核心是具有环境感知、规划决策和控制执行的移动信息处理平台，其中环境感知是自动驾驶汽车获取外界信息的源头，占据着关键的地位。

视觉感知在环境感知中发挥着极其重要的作用，是获取物理世界实时信息的主要方式。以深度学习为代表的人工智能技术在视觉感知上的进展推动了各类视觉应用性能的提升，逐渐达到实用的程度。交通标识包括道路交通设置的交通标识牌、红绿灯以及地面的车道线和停止线等交通指示线信息，基于深度学习的视觉感知通过对交通标识的检测、识别与测距，能够完成自动驾驶汽车需要的环境感知需求。本书对面向自动驾驶的交通标识视觉感知相关技术进行了系统的介绍，梳理了自动驾驶需要实现的系统功能、交通标识视觉识别技术的原理和实现、双目视觉在交通标识测距上的应用以及车道线检测的基本方法和实现参考，最后通过对实现平台的介绍，可为相关研究人员在这一领域开展研究提供相关参考。

全书共分为8章。第1章对自动驾驶的发展历史、分级定义与功能分析、硬件平台及软件平台进行了详细的介绍； 第2章介绍了人工智能的发展历程和研究途径，分析了人工智能技术，特别是深度学习和强化学习在自动驾驶中的应用场景； 第3章介绍了基于深度学习的视觉感知技术在图像分类、目标检测、目标跟踪和图像分割应用上的典型算法； 第4章介绍了如何采用深度学习框架、制作数据集、修改和设计神经网络模型实现交通标识的视觉识别； 第5章介绍了双目视觉定义和原理、交通标识测距的流程和方法、试验结果与分析； 第6章介绍了基于传统视觉和深度学习的视觉感知，详细介绍了实现车道线检测的不同方法的原理和实现方法，包括实现代码和具体流程； 第7章介绍了视觉感知处理依赖的嵌入式计算机系统，包括视觉传感器、硬件计算平台和软件开发环境，结合交通标识视觉感知和双目相机测距，给出了系统实现框架； 第8章介绍了视觉感知技术在自动驾驶中的应用展望，给出了视觉感知技术能够进一步推动自动驾驶发展的研究方向。

在本书的编写过程中，得到了沈阳工业大学多位教师和研究生的帮助和支持，徐佳锋同学的研究工作使得车道线检测部分的内容更加完善，陈健、蒋庆龄、吴思男、郭玉婷、杨丽、王守满、贺继昌、赵鋆益等同学做了大量的书稿整理和完善工作。

在本书的编写过程中，编者参阅了大量的文献资料，从中得到了许多有益的启发和帮助，在此向这些文献的作者表示衷心的感谢。感谢全国劳动模范、奇瑞汽车股份有限公司汽车工程技术研发总院的徐有忠博士为本书作序，他在本书的编写过程中提供了很多中肯的建议，同时对清华大学出版社在出版过程中给予的支持表示诚挚感谢。

由于编者水平有限，加之经验不足，本书难免有疏漏之处，恳请各位同行和读者批评指正。

编者

2023年6月

第1章自动驾驶与计算机视觉

1.1自动驾驶发展历史

1.2自动驾驶的定义与功能分析

1.3自动驾驶硬件平台

1.4自动驾驶软件平台

1.5计算机视觉与感知

1.6视觉感知在自动驾驶中的应用

参考文献

第2章人工智能及其在自动驾驶中的应用

2.1人工智能基础

2.1.1人工智能的发展历程

2.1.2人工智能的研究途径

2.1.3人工智能的趋势与展望

2.2机器学习与深度学习

2.2.1机器学习的含义与分类

2.2.2深度学习的发展历程

2.2.3深度学习与计算机视觉

2.2.4深度学习与自然语言处理

2.3强化学习

2.3.1强化学习的基本要素

2.3.2强化学习的常用方法

2.3.3强化学习的发展方向

2.4深度学习在自动驾驶中的应用

2.4.1交通标识识别

2.4.2目标感知

2.4.3车道线检测

2.4.4自动泊车

2.4.5司乘人员状态监控

2.5强化学习在自动驾驶中的应用

参考文献

第3章基于深度学习的视觉感知

3.1深度学习基础

3.2计算机视觉技术

3.3图像分类典型算法

3.4目标检测典型算法

3.4.1两阶段目标检测方法

3.4.2单阶段目标检测方法

3.5目标跟踪典型算法

3.6图像分割典型算法

3.6.1语义分割算法

3.6.2实例分割算法

参考文献

第4章交通标识的视觉识别

4.1交通标识和信号灯检测

4.1.1交通标识检测

4.1.2交通信号灯检测

4.2卷积神经网络与目标检测

4.2.1卷积神经网络结构分析

4.2.2目标检测算法评估指标

4.2.3YOLOv3目标检测模型分析

4.3数据集准备

4.3.1开源数据集的现状及使用方法

4.3.2自制数据集的工作流程

4.4深度学习框架及模型使用

4.4.1主流深度学习框架

4.4.2开源模型使用方法

4.5交通标识与信号灯检测模型

4.5.1TYOLO模型设计要点

4.5.2轻量化网络设计

4.5.3TMYOLO网络

4.5.4检测模型试验

参考文献

第5章双目视觉与交通标识测距

5.1双目视觉

5.1.1双目视觉定义

5.1.2双目视觉面临的问题

5.2双目视觉的应用

5.3双目测距原理与优化

5.3.1双目视觉测距原理

5.3.2双目视觉测距优化

5.4交通标识测距

5.4.1相机标定及校正映射表计算

5.4.2图像预处理

5.4.3金字塔模板匹配

5.4.4坐标校正及测距

5.4.5测距流程

5.5试验与结果分析

5.5.1双目视觉传感器

5.5.2视觉传感器参数计算

5.5.3车载环境试验与分析

参考文献

第6章车道线检测

6.1车道线检测

6.2车道线检测研究进展

6.2.1传统视觉检测方法

6.2.2深度学习检测方法

6.3基于传统视觉的车道线检测

6.3.1透视变换

6.3.2动态阈值提取车道线

6.3.3车道线方程拟合

6.3.4平滑输出方法

6.4基于深度学习的车道线检测

6.4.1语义分割网络与车道线检测

6.4.2基于DABNet的改进模型

参考文献

第7章面向自动驾驶的嵌入式系统

7.1嵌入式系统构成

7.2车载摄像头

7.2.1车载摄像头组成

7.2.2车载摄像头性能参数

7.3嵌入式硬件计算平台

7.3.1各类计算平台的性能和功耗

7.3.2不同计算平台优、缺点分析

7.3.3产业格局及代表产品

7.4嵌入式系统软件环境

7.4.1计算平台中的开发环境

7.4.2Jetson TX2中配置深度学习框架

7.4.3基于TensorRT的模型量化压缩

7.5交通标识视觉感知系统框架

7.6交通标识视觉感知系统实现

7.6.1图像采集与目标检测

7.6.2基于MobileNetv2的目标识别模块

7.6.3双目相机测距模块

参考文献

第8章视觉感知在自动驾驶中的应用展望

8.1视觉感知与交通标识

8.2视觉感知与内容理解

8.3视觉感知与数字孪生

8.4视觉感知与信息获取

8.5视觉感知与计算平台

8.6环境感知与信息融合

参考文献