场景建模与机器人感知（图像图形智能处理理论与技术前沿）

本书重点研究利用视觉信息对场景进行实时重建和理解，以实现主动交互功能。从机器人与场景建模、理解、导航、交互等领域出发，全方位地讲解其所涉及的相关技术和具体实践。本书围绕场景建模与机器人感知的主题，建立了一个多学科交叉融合的知识体系，主要面向对计算机图形学、计算机视觉和机器人感兴趣的高年级本科生、研究生及相关技术人员。本书将理论与实践相结合，既包含最基础的算法，又涉及最新的技术，并附以详细的代码或伪代码资源，以及“章节知识点”等特色内容，期望为从事该领域相关工作的人员提供一些有效的参考。

杨鑫,本科毕业于吉林大学计算机学院，于浙江大学-美国加州大学戴维斯分校计算机学院进行博士生联合培养，获工学博士学位，香港城市大学博士后。现任学校学科建设办公室副主任，分管学校双一流学科规划、学科平台与经费管理工作。主要研究方向为计算机图形学与视觉、类脑计算、多模态大数据分析与决策。

习近平总书记在两院院士大会上指出，机器人是“制造业皇冠顶端的明珠”。具身智能机器人作为人工智能领域核心技术的载体，具备像人一样的与环境交互感知，自主规划、决策、行动、执行的能力，在服务国家重大需求、引领国民经济发展和保障国防安全中起到重要作用。感知三维环境并理解其中包含的信息是人类智能的重要体现，也是人类与环境自由交互的前提。类似的，智能机器人也需要首先对所处环境进行充分的感知，实际上就是对周围场景进行三维数字化建模与理解。国家《“十四五”机器人产业发展规划》中明确要加强机器人科技人才培养，目前,虽有部分书籍涉及其中的某种技术,但并没有系统全面地介绍以上领域，并能将之连成“一条线”的参考书。本书重点聚焦在智能机器人系统中的智能感知与交互模块，建立一个多学科交叉融合的知识体系，从场景建模与理解的角度出发，尽可能全面地探讨相关的技术前沿和研究前沿，并对机器人导航、避障及抓取等实际应用任务展开实践论述。

本书将理论与实践相结合,既包含基础的算法,又涉及最新的技术,并附以详细的代码或伪代码资源。

本书共6章。第1~3章全面介绍场景建模与理解技术的发展和应用，包括三维重建、场景探索和场景理解等。第1章介绍基于传统多视图几何和深度学习的三维重建算法，讨论如何从图像中恢复三维结构；第2章介绍三维重建和视觉语义导航中的场景探索算法，讨论探索未知场景的不同方式；第3章介绍室内场景理解的基于物体检测与分类和基于场景图的两类算法，从非结构化和结构化场景知识两个层面讨论场景理解的不同方式。第4~5章全面介绍机器人感知技术的发展和应用，包括视觉重定位和机器人导航、避障、抓取等。第4章介绍视觉重定位、导航与避障相关经典和基于深度学习的算法，讨论机器人获取自身位姿状态并完成导航和避障任务的方式；第5章介绍机器人抓取的分析法、经验法，以及基于深度学习的算法，讨论不同的抓取姿态检测和机器人抓取方法。第6章以面向机器人任务的三维场景建模与理解为例介绍综合项目实践，便于读者对理论与实践进行综合性的理解和掌握。本书的内容，除第6章外，每一章都对应一个固定的主题，其中会穿插讲述理论和实践两部分内容。在每一章中，首先概述主题，围绕该主题探讨其国内外主要研究工作，并按照不同的方法分类讲解不同的技术。技术的讲解以实践为主，在实践中结合理论知识，并设计了“章节知识点”等特色内容，便于读者加深理解；每种技术都包含任务描述、相关工作、技术方法、结果展示和小结等内容。本书相关的内容资料(算法代码、相关论文等)均在各个章节以二维码链接的形式附上。

大连理工大学社会计算与认知智能教育部重点实验室李童、殷雪峰、王元博、刘圆圆、邱佳劲、林虎、张肇轩、魏博言、徐子健、程祥吉、周运铎、包骐瑞、商笑尘、曲尚来、丁建川、王诚斌、姚翰、满婧琦、王雅茹、张广羚、李坤、朱佳文、王予亮、高令平、叶贤丰、杨超然、王中杰等参与了本书稿的部分整理工作。本书的部分研究成果来自于国家“863”项目“作为网络化和云计算终端的机器人技术”、国家自然科学基金重点项目“基于视觉和语义的室内场景理解和实时建模”、科技部“脑科学与类脑研究”重大项目“多模态多尺度协同的神经可塑性类脑强化学习网络模型设计与应用研究”、国家自然科学基金重大研究计划培育项目“面向动态非结构环境的共融机器人自然交互方法研究”、国家自然科学基金面上项目“高速且复杂光照环境下建筑物内部场景视觉快速重定位方法研究”，以及大连市杰青项目“仿生机器人智能感知与决策系统”。

本书可作为高等院校信息与智能相关专业、计算机图形学、计算机视觉和智能机器人等相关领域的教学参考书，也可供从事相关领域的技术人员参考使用。

在人工智能领域，场景建模与机器人感知技术发展非常迅速，本书虽力求全面并紧跟其发展趋势，但由于作者水平和时间有限，书中难免存在疏漏之处，恳请读者不吝批评指正。

作者

2023年6月

第1章三维重建

1.1概述

1.2国内外主要研究工作

1.2.1基于多视图几何的三维重建

1.2.2基于深度学习的三维重建

1.2.3小结

1.3技术实践

1.3.1技术案例一： 基于多任务的深度图预测

1.3.2技术案例二： 主动式目标三维重建与补全优化

1.3.3技术案例三： 基于模型替换的场景建模

1.3.4技术案例四： 基于无监督学习的场景重建

1.3.5技术案例五： 基于单视角图像的场景重建

1.4本章小结

1.5思考题

参考文献

第2章场景探索

2.1概述

2.2国内外主要研究工作

2.2.1三维重建中的场景探索

2.2.2视觉语义导航中的场景探索

2.2.3小结

2.3技术实践

2.3.1技术案例一： 对象感知引导的自主场景三维重建

2.3.2技术案例二： 面向未知三维场景重建系统的设计与实现

2.3.3技术案例三： 视觉语义导航中基于语义场景补全的

场景探索

2.4本章小结

2.5思考题

参考文献

第3章场景理解

3.1概述

3.2国内外主要研究工作

3.2.1基于物体检测与分类的室内场景理解

3.2.2基于场景图发掘物体关联的室内场景理解

3.2.3小结

3.3技术实践

3.3.1技术案例一： 基于卷积神经网络的点云语义分割与分类

3.3.2技术案例二： 基于三维场景点云的场景图生成

3.4本章小结

3.5思考题

参考文献

第4章机器人导航与避障

4.1概述

4.2国内外主要研究工作

4.2.1经典重定位算法

4.2.2基于深度学习的重定位算法

4.2.3经典导航与避障算法

4.2.4基于深度学习的导航与避障算法

4.2.5小结

4.3技术实践

4.3.1技术案例一： 基于特征数据库匹配的相机重定位

4.3.2技术案例二： 基于深度学习的相机重定位

4.3.3技术案例三： 基于相机重定位的机器人导航

4.3.4技术案例四： 基于已知栅格地图的机器人避障

4.3.5技术案例五： 基于深度强化学习的多智能体避障

4.3.6技术案例六： 基于单目相机的复杂场景自主避障

4.4本章小结

4.5思考题

参考文献

第5章机器人抓取

5.1概述

5.2国内外主要研究工作

5.2.1基于分析法和经验法的抓取方式检测

5.2.2基于深度学习的抓取方式检测

5.2.3小结

5.3技术实践

5.3.1技术案例一： 基于物体交互动力学的抓取姿态检测

5.3.2技术案例二： 基于主动学习的机器人抓取

5.3.3技术案例三： 基于Faster RCNN的机器人抓取

5.3.4技术案例四： 基于弱监督语义分割网络的机器人抓取

5.3.5技术案例五： 基于生成式的抓取姿态检测

5.4本章小结

5.5思考题

参考文献

第6章综合项目实践： 面向机器人任务的三维场景建模与理解

6.1项目实践背景

6.2项目实践概述

6.3项目实践结构

6.4主要模块设计与实现

6.4.1多个RGBD相机的驱动与信息采集

6.4.2基于多RGBD相机融合的室内场景三维重建

6.4.3基于RGBD序列的场景标记技术方法

6.4.4平台设计

6.5本章小结

6.6思考题

参考文献