机器人智能视觉感知与深度学习应用

主要内容包括基于深度学习的智能视觉感知技术概述、相机标定、视觉目标检测、视觉目标分割、视觉目标跟踪、行人重识别、人体姿态估计、智能喷码检测、智能表格识别、移动机器人视觉感知系统、智能人机交互等。全书拟从理论到实际应用，从算法分析到编程实现等多角度全方位介绍深度学习技术在智能视觉感知方面的研究，并深度结合了当前国内外新研究热点，为业内人士从事相关研究与应用工作提供重要参考。

适读人群 ：本书旨在从算法理论与技术应用两方面深入介绍基于机器人智能视觉感知技术与深度学习，为广大工程技术人员学习视觉感知方面的应用和最新理论方法奠定基础，同时也可作为高年级
本书基于机器人视觉感知与控制技术国家工程研究中心多年的研究积累，从原理方法、算法开发、模型搭建、实验验证和对比分析等方面概述了机器人视觉感知系统和深度学习技术。

前　　言
智能人机协作机器人能自主适应复杂动态环境，并通过与作业环境/人/协作机器人自然交互，在共同工作空间通过近距离互动完成更加复杂的作业任务，因此受到了广泛的重视。根据BlueWeave公司的市场分析报告，2021年全球协作机器人市场达到7.6亿美元，到2028年，全球协作机器人市场增长到39.9亿美元。如何高效可靠地获取和理解机器人与作业环境信息并有效交互是智能机器人实现合理的人机交互和智能操控的迫切需求。
机器人感知和智能是制约机器人技术发展与应用的核心瓶颈，未知环境中的智能操作与自主作业很大程度上依靠对环境的认识程度。虽然近年来作为机器人重要手段的视觉感知获得了快速的发展，但机器人的整体感知水平和智能化程度还有待进一步提升。此外，人工智能的迅速发展正深刻地改变着机器人视觉等信号的处理方式，国务院印发的《新一代人工智能发展规划》指出：人工智能是引领未来的战略性技术，世界主要发达国家把发展人工智能作为提升国家竞争力、维护国家安全的重大战略。图像及视频等视觉处理技术作为人工智能下的一大技术领域，不仅可用于复杂、危险场景下的视觉感知获取，近年来还被广泛应用于防控预警、抢险救灾和军事领域，得到了世界各国的广泛重视。
本书旨在深入介绍基于深度学习的机器人智能视觉感知技术，为广大工程技术人员学习视觉感知方面的应用和最新理论方法奠定基础，同时也可作为高年级本科生、研究生或博士生的参考书。本书主要内容包括机器人智能视觉感知系统概述、深度学习技术概述、自然场景下文本检测与识别、视觉目标检测、多目标跟踪、图像语义分割等。全书从方法到实际应用，从算法分析到模型搭建等多角度介绍深度学习技术在智能视觉感知方面的研究，并深度结合了当前国内外最新研究热点，为业内人士从事相关研究与应用工作提供重要参考。
本书基于团队多项机器人感知与控制技术相关的国家级项目（2021YFC1910402，NSFC. 62073129、NSFC.U21A20490、NSFC.61673163、湖南省自然科学基金–杰出青年基金项目2022JJ10020国家重点研发计划）、湖南省科技计划项目（2020GK2025）、深圳科技计划项目 (2021Szvup035)的研究成果，聚焦机器人视觉感知前沿和国家战略需求，从应用背景、需求分析、原理方法、算法开发、模型搭建、实验验证、对比分析等方面展开论述。全书共分为7章：第1章概述了机器人视觉感知系统的发展和挑战；第2章对机器人智能视觉感知系统的组成、主要实现步骤和典型应用进行了阐述；第3章对机器人视觉感知系统广泛应用的深度学习技术进行了概述；第4章简述了自然场景下基于图像分割的文本检测和基于序列的场景文本识别技术；第5章阐述了视觉目标检测技术，重点描述了基于R-FCN的目标检测和基于Mask RCNN的目标检测方法；第6章简述了多目标跟踪技术，重点阐述了基于序列特征的多目标跟踪方法和基于上下文图模型的多目标跟踪方法；第7章简述了图像分割方法，重点描述了基于自适应特征选择网络的遥感影像语义分割方法和基于SU-SWA的区域分割方法。
在本书的核心内容准备过程中，团队的梁桥康、谭艾琳、郭东妮负责了机器人视觉感知系统和深度学习技术概述的相关内容；朱为、葛俏、彭建忠负责了喷码识别系统的相关内容；项韶、金晶负责了自然场景下文本检测与识别的相关内容；梅丽、伍万能负责了视觉目标检测的相关内容；谭旭、伍万能负责了多目标跟踪的相关内容；项韶、梁桥康负责了机器人视觉感知系统的典型应用的相关内容；南洋、汤鹏、项韶、秦海负责了图像语义分割的相关内容；梁桥康、邹坤霖、邓淞允、谢冰冰等为对比实验和网络框架等做出了贡献；梁桥康、秦海负责统稿。
本书适合机器人视觉感知技术的初学者或爱好者阅读，也非常适合机器人感知、深度学习、人工智能等相关从业者参考。希望读者在阅读完本书后能根据实际的应用场景需求搭建对应的智能机器人视觉感知系统，为提升我国机器人核心感知技术创新水平贡献自己的力量。
本书受到国家自然科学基金项目（NSFC.62073129、NSFC.U21A20490）、国家重点研发计划（2021YFC1910402）和湖南省自然科学基金–杰出青年基金项目（2022JJ10020）的资助，特此感谢。最后特别感谢机械工业出版社编辑们对本书出版的大力支持。

作者
湖南大学机器人视觉感知与控制技术国家工程研究中心
2023年1月

目　　录
推荐序
前言
第1章　绪论　1
1.1　机器人视觉感知系统　2
1.2　机器人视觉感知发展趋势　2
1.3　机器人视觉感知研究挑战　3
1.4　喷码识别系统应用实践　8
1.4.1　喷码检测方法概述　9
1.4.2　喷码识别系统需求分析　11
1.4.3　喷码识别系统硬件选型　12
1.4.4　基于轻量级Ghost-YOLO
模型的喷码识别　16
1.5　本章小结　30
第2章　机器人智能视觉感知系统
概述　31
2.1　机器人智能视觉感知系统组成　31
2.2　机器人智能视觉感知的主要
流程　37
2.3　机器人智能视觉感知的典型
应用　39
2.3.1　面向农业机器人的视觉感知概述　40
2.3.2　基于多模型融合的应用
实践　41
2.4　本章小结　49
第3章　深度学习技术概述　50
3.1　全连接神经网络　50
3.1.1　反向传播原理　52
3.1.2　全连接神经网络的缺点　53
3.2　卷积神经网络及其应用　53
3.2.1　神经网络的基本运算　54
3.2.2　神经网络的常用函数　58
3.2.3　模型融合　64
3.2.4　循环神经网络　66
3.2.5　集成学习理论基础　69
3.3　基于深度学习的视觉目标检测　70
3.3.1　两阶段算法　71
3.3.2　一阶段算法　71
3.4　基于深度学习的视觉目标跟踪　73
3.4.1　单目标跟踪　73
3.4.2　多目标跟踪　 74
3.5　本章小结　75
第4章　自然场景下文本检测与
识别　76
4.1　概述　76
4.2　基于图像分割的场景文本检测　81
4.2.1　特征提取网络　82
4.2.2　文本区域掩码标签的
生成　83
4.2.3　场景文本区域的检测　 84
4.2.4　文本区域的后处理算法　85
4.2.5　文本检测应用实践　87
4.3　基于序列的场景文本识别　92
4.3.1　场景文本特征序列的
提取　93
4.3.2　特征序列上下文信息
提取　95
4.3.3　转录层文本识别　98
4.3.4　文本识别网络　100
4.3.5　模型训练　101
4.3.6　文本识别应用实践　102
4.4　基于轻量级模型的喷码文本识别
系统　106
4.4.1　字符区域提取　107
4.4.2　字符文本处理　108
4.4.3　字符文本识别　109
4.4.4　字符文本识别应用实践　115
4.4.5　基于嵌入式系统的算法
设计与实现　121
4.4.6　系统运行测试　124
4.5　本章小结　125
第5章　视觉目标检测　126
5.1　目标检测系统概述　126
5.2　目标检测的相关概念　129
5.3　目标检测模型分类　133
5.4　数据获取与处理　135
5.4.1　数据预处理　136
5.4.2　数据标注　138
5.5　基于R-FCN的目标检测　140
5.5.1　R-FCN基本原理介绍　140
5.5.2　R-FCN算法的改进　146
5.5.3　目标检测应用实践　150
5.6　基于Mask R-CNN的目标检测　153
5.6.1　Mask R-CNN算法基本
原理　154
5.6.2　改进Mask R-CNN模型　157
5.6.3　Mask R-CNN应用实践　162
5.6.4　篮球以及球员检测系统
软件设计　164
5.7　本章小结　167
第6章　多目标跟踪　168
6.1　目标跟踪概述　168
6.1.1　单目标跟踪　168
6.1.2　多目标跟踪　171
6.1.3　多相机多目标跟踪　175
6.2　多目标跟踪系统构成　176
6.3　基于序列特征的多目标跟踪
方法　177
6.4　基于上下文图模型的单相机多目标
跟踪　184
6.4.1　图卷积神经网络的基础
知识　186
6.4.2　基于上下文图模型的单相机多球员跟踪　187
6.4.3　多目标跟踪应用实践　193
6.5　本章小结　199
第7章　图像语义分割　200
7.1　图像语义分割概述　200
7.1.1　图像分割算法的定义　200
7.1.2　传统的图像分割算法　200
7.1.3　基于卷积神经网络的图像
语义分割算法　204
7.2　基于自适应特征选择网络的遥感
影像语义分割　208
7.2.1　基于自适应特征选择
网络的遥感影像语义分割
算法　208
7.2.2　基于自适应特征选择网络的遥感影像分割应用实践　211
7.3　基于SU-SWA的区域分割　215
7.3.1　基于SU-SWA的区域分割
任务分析　215
7.3.2　基于SU-SWA的区域分割
方法　215
7.3.3　基于SU-SWA的区域分割
应用实践　219
7.4　本章小结　229
参考文献　230