玩转3D视界 ―― 3D机器视觉及其应用

3D 机器视觉是计算机视觉的重要组成部分。本书对3D 机器视觉的基础知识、核心算法及应用进行了系统、全面的介绍，具体包括3D 传感器、3D 数据表示、3D 数据存储与压缩、3D 数据处理、3D 几何测量与建模、3D 物体识别和3D 动作识别等。本书力求理论结合实际，在原理与概念讲解的基础上，辅以简单的应用实例，便于读者深刻地理解各部分的知识点并学以致用。为满足读者自检与思考的需要，书中给出了一些思考题，并列出了主要文献供读者参考。

刘佩林，1965年9月生人，上海交通大学电子信息与电气工程学院教授，博士生导师。研究领域包括音视频、3D信号处理与智能分析；面向机器人的环境感知，人机交互，定位与导航；边缘计算等。自2017年起，任上海交通大学类脑智能应用技术研究中心主任。

应忍冬，1975年9月生人，上海交通大学电子信息与电气工程学院副教授，硕士生导师。研究领域包括嵌入式系统、数字信号处理及VLSI实现架构、人工智能领域的机器思维原理和实现。

【前 言】

这是一本介绍3D机器视觉及其应用的书。在写这本书时，我和我的团队刚刚研发了基于时间飞行（ToF）法的3D相机，并期待着我们的3D相机——SmartToF®有规模化的应用。而在推广3D ToF应用的过程中，我们意识到，系统、全面地介绍3D机器视觉技术对3D应用的推广至关重要，遂着手编写这本《玩转3D视界——3D机器视觉及其应用》，希望能和广大从事机器视觉技术的同仁在“3D视界”中一起“玩”起来。

我们希望通过本书让更多进行机器视觉研究的同仁了解3D机器视觉，方便他们构建3D机器视觉的知识体系，因而在书中我们介绍了3D传感器、3D数据处理、3D物体识别与建模等多个层面的基础知识和算法。本书涉及光学、电子技术、信号处理、模式识别等领域的知识，虽无法全面完整地介绍所有知识点，但我们努力对构建3D机器视觉的知识体系所需的基础知识进行了介绍，本书可作为一本入门书籍。

本书也可以作为3D机器视觉开发者的应用指南。当前，各大手机厂商先后在手机中植入3D相机，3D机器视觉应用的帷幕已经拉开，面向3D视觉的海量应用亟待开发。目前，2D机器视觉已在各行各业中得到了应用，相比之下，3D机器视觉领域还缺乏完善的软件开发环境和数据资源，需要从事机器视觉研究工作的同仁共建3D视觉的开发环境，面向应用实现各种3D 算法的软、硬件。在本书中，我们介绍了自己开发的SmartToF®的开发环境架构，一方面，使读者能在此基础上快速实现和验证自己开发的3D算法；另一方面，为构建特定领域3D机器视觉软件系统提供了架构参考。

我们力求通过本书让读者了解3D机器视觉的基本原理、方法，与此同时，我们也介绍了目前存在的问题，以期和相关同仁共同探讨3D机器视觉技术的未来。每个新技术的发展都遵循一定的规律，3D机器视觉技术也是如此。当前3D机器视觉正处在应用的起步阶段，还有各种问题需要解决，如3D传感器的电信号处理、光源控制及光照环境自适应等，要实现智能3D相机，为每台机器人装配“慧眼灵瞳”，还需要各位同仁共同努力。

王伟行、王俊、贾佳璐、潘光华、金成铭、陈琢、郭维谦等人参与了本书的初稿及后续修订工作，他们对本书的创作起到了非常大的作用，再次向他们表示衷心的感谢。在本书出版过程中，电子工业出版社的编辑王群也给予了很多帮助，在此也向她表示谢意。

由于作者水平有限，书中难免有错误和不当之处，欢迎业界专家、读者给予批评和指正。

刘佩林

【目录】
第1章 引言 1
1.1 何为“3D视界” 1
1.2 如何玩转3D视界 2
1.3 本书的主要内容 4
1.4 面向的读者 6
第2章 3D视界的硬实力与软实力——3D相机与开发平台 8
2.1 概述 8
2.2 双目相机 10
2.3 结构光3D相机 17
2.4 ToF相机 24
2.5 三种相机的对比及典型应用 35
2.6 DMAPP开发平台 42
2.7 总结与思考 49
参考文献 50
第3章 3D数据表示方法 51
3.1 概述 51
3.2 深度图 52
3.3 点云 55
3.4 体素 64
3.5 三角剖分 68
3.6 3D数据存储格式 76
3.7 总结与思考 86
参考文献 87
第4章 3D数据处理 88
4.1 概述 88
4.2 深度图滤波 96
4.3 点云滤波器与过滤器 107
4.4 3D数据压缩 113
4.5 总结与思考 131
参考文献 132
第5章 3D几何测量与重建 133
5.1 概述 133
5.2 3D测量 134
5.3 3D重建 147
5.4 总结与思考 163
参考文献 164
第6章 3D物体分割与识别 166
6.1 概述 166
6.2 目标分割 167
6.3 几何形状识别 177
6.4 语义识别 188
6.5 总结与思考 207
参考文献 208
第7章 3D活体检测与动作识别 210
7.1 概述 210
7.2 人脸识别 211
7.3 人体骨架识别 224
7.4 跌倒检测 242
7.5 手势识别 251
7.6 总结与思考 271
参考文献 271
附录 缩略语 277