机器视觉与机器学习：算法原理、框架应用与代码实现

宋丽梅，教授、博士生导师，毕业于天津大学，师从叶声华院士。目前为天津市重点学科带头人和高等学校创新团队带头人。多年来一直从事机器视觉、三维测量、虚拟现实及自动化方面的研究工作，并负责国家重点实验室的建设，积累了宝贵的科研数据。多次获得天津市科学技术进步奖。以项目负责人身份主持完成双目立体机器视觉探测、自动化产品缺陷检测等多个视觉项目以及国家自然科学基金和国家中小企业创新基金科研项目。曾荣获香港桑麻奖、五一劳动奖章等多项殊荣。

　　随着计算机技术、光电子技术、信号处理理论与技术、人工智能理论与技术的发展，近年来机器视觉得到了飞速的发展和广泛的应用，在科研和实际生产中发挥了重要的作用。以深度学习为代表的机器学习正在学术界和工业界大放异彩。机器视觉与机器学习作为人工智能的重要分支，很大程度上代表了人工智能的发展水平，在人工智能领域的地位不言而喻。相关行业对从事机器视觉、人工智能领域的人才需求量持续增加。
　　机器视觉是国内外高校本科生和研究生的重要专业课，具有广泛的应用背景，对本科生、研究生的学习、研究和工作具有重要影响。该课程涉及信号处理、数字图像处理、模式识别、人工智能和光电子等领域，是一门交叉学科，具有很强的专业性。机器视觉课程内容很多，既包含大量的基础理论，也包含丰富的实验。迄今为止，国内外涌现了许多优秀、经典的教材，比如美国麻省理工学院的Berthold Horn教授编写的《Robot Vision》已经成为机器视觉的经典教材。Dana Ballard和Christopher Brown编写的《Computer Vision》教材内容丰富，尤其偏重于一些非常专业的内容。David Marr编写的《Vision：A Computational Investiga-tion》偏重于机器视觉和生物视觉系统相联系的内容。在国内，也出现了许多优秀的机器视觉教材，比如张广军教授编写的《机器视觉》。另外，国内外还有许多其他优秀的教材，这里不再一一列举。
　　机器视觉发展迅速，由于出版时间等原因，关于机器视觉与机器学习的一些最新研究成果，在一些优秀的教材中体现得不是特别充分。比如，基于结构光的三维测量技术在近些年受到广泛关注和研究，在Optics Letters、Optics Express、Applied Optics、《光学学报》和《光学精密工程》等相关期刊都有大量的关于机器视觉的文章发表。另外，基于飞行时间法与编码结构光的3D相机近年来发展迅速，以微软Kinect 3D传感器为代表，还有最近出现的Intel RealSense 3D相机。这些产品背后的技术和原理需要相关领域的广大工作者进一步学习和研究。因此，需要将结构光三维测量和飞行时间法三维测量的内容体现在教材中，以此来帮助学生学习机器视觉课程时能够更充分地了解前沿发展状况，掌握机器视觉前沿技术。编者基于对结构光投影三维测量和飞行时间法测量、机器学习的积累和对最新文献的掌握，编写了这本面向工程专业的机器视觉教材，教材体现机器视觉的最新案例和研究内容，将这些内容系统性地呈现给读者。
　　本书内容共10章：第1章为绪论；第2章为数字图像处理，包括图像滤波、图像分割、图像处理工具、特征提取等，主要用于机器视觉算法的设计与实现；第3章为相机成像，包括相机成像模型与相机亮度、光源等方面的内容；第4章为相机标定，主要包括相机标定原理、方法与实现；第5章为Shape from X，主要包括从光度立体、阴影、运动及纹理恢复三维形状：第6章为双目立体视觉，主要包括双目立体视觉原理、双目立体视觉系统、双目立体视觉重建算法与实现；第7章为结构光三维视觉，包括基于条纹投影的面结构光与线结构光：第8章为深度相机，介绍当前颇受欢迎的Kinect、Intel RealSense等深度相机的知识与相关应用：第9章为机器学习基础，包括神经网络、支持向量机、集成学习与深度学习等：第10章为机器学习在机器视觉领域的应用，包括深度学习在模式识别、图像超分辨率重建、图像去噪、目标跟踪、三维重建等方面的应用。除第1章和第9章外，其他各章都配有应用案例，包括案例的分析过程、实验数据、程序代码及运行结果。
　　三维视觉是机器视觉的核心主题之一。第6~8章体现了课题组成员在这方面研究的一个基本总结。在第7章，基于最新文献及发展趋势，整理了结构光三维测量的发展过程、前沿趋势，编写了相关的教学案例，也可为相关研究人员提供一定的参考。第8章包含微软Kinect以及Intel RealSense产品的具体应用实例。此外，机器视觉及相关领域发展迅速，新的成果不断涌现，为保证教材的与时俱进，本书中加入了新的内容，如硬X射线自由电子激光光源、万亿帧每秒高速相机、10G以太网相机等，让读者能够了解关于机器视觉的最新发展情况。本书还特别加入了机器视觉中的机器学习相关内容，编写了机器视觉中的深度学习案例。
　　本书积累了多年来在机器视觉和人工智能领域的科研和教学成果，是一本面向工程专业的本科生与研究生的教材。该教材包含经典和最新的机器视觉案例。通过讲解案例背景与原理、设计思路、实验步骤、开发环境和工具及实验结果，使学生能够根据案例理解相关理论知识和内容，能够为教学提供丰富可靠的工程应用经验，有利于加强工程实际应用理论和知识的学习。本教材对从事机器视觉的科研人员和工程师也具有一定的参考作用。
　　本书由天津工业大学宋丽梅、朱新军编著。纪越、成怡、杨燕罡、黄浩珍、茹愿、李欣遥、林文伟等为本书的编写提供了大量帮助。
　　本书的编写得到了天津工业大学研究生课程优秀教材建设项目（《机器视觉》优秀教材建设，项目编号Y20160527）支持。本书也得到了全国工程专业学位研究生教育指导委员会／中国学位与研究生教育学会工程专业学位工作委员会立项的全国工程专业学位研究生教育自选研究课题（教改项目）——面向工程应用的《机器视觉》教材改革（项目编号2016 -ZX-066）的支持。此外，本书也得到了天津市高等学校创新团队培养计划的资助（项目编号TD13-5036）。
　　由于编者水平有限，书中难免存在不妥之处，敬请读者批评指正。

前言
第1章 绪论
1．1 机器视觉
1．1．1 机器视觉的发展
1．1．2 机器视觉与其他领域的关系
1．2 机器视觉研究的任务、基本内容、应用领域与困难
1．2．1 任务
1．2．2 基本内容
1．2．3 应用领域
1．2．4 困难
1．2．5 机器视觉与人类视觉的关系
1．3 马尔视觉理论
1．3．1 视觉是一个复杂的信息加工过程
1．3．2 视觉系统研究的三个层次
1．3．3 视觉系统处理的三个阶段
1．4 习题

第2章 数字图像处理
2．1 图像预处理
2．1．1 图像滤波
2．1．2 二值化
2．1．3 边缘提取
2．2 图像分割
2．3 数字图像处理的数学工具
2．3．1 傅里叶变换图像处理
2．3．2 离散余弦变换
2．3．3 偏微分方程图像处理
2．3．4 小波变换等时频分析方法
2．3．5 形态学处理
2．4 图像特征提取
2．4．1 特征提取算法
2．4．2 主成分分析
2．4．3 SIFT特征点
2．4．4 SURF特征点
2．5 案例——灯泡灯脚检测中的图像处理
2．5．1 检测背景
2．5．2 图像处理过程与结果
2．6 习题

第3章 相机成像
3．1 影几何与几何变换
3．1．1 空间几何变换
3．1．2 三维到二维投影
3．2 成像模型
3．2．1 线性模型
3．2．2 非线性模型
3．3 图像亮度
3．3．1 亮度模式
3．3．2 传感器
3．3．3 感知颜色
3．4 数字相机与光源
3．4．1 光源
3．4．2 镜头
3．4．3 相机接口
3．5 案例——光源对成像的影响
3．5．1 实验设备
3．5．2 光源照明效果
3．5．3 铆钉光源实验
3．6 习题

第4章 相机标定
4．1 相机标定基础
4．1．1 空间坐标系
4．1．2 空间坐标系变换
4．2 相机标定方法
4．2．1 Tsai相机标定
4．2．2 张正友标定
4．3 相机标定的MATLAB与OpenCV实现
4．3．1 MATLAB棋盘格标定
4．3．2 OpenCV棋盘格标定
4．4 圆形板标定方法
4．4．1 单相机标定
4．4．2 立体相机标定
4．5 单相机与光源系统标定
4．5．1 背景
4．5．2 原理与方法
4．6 案例——显微测量标定
4．6．1 显微标定模型
4．6．2 相机标定实验
4．7 案例——机器人手眼标定
4．7．1 机械臂坐标系
4．7．2 手眼标定
4．8 习题

第5章 Shape from X
5．1 Shape from X技术
5．2 光度立体
5．2．1 典型算法介绍
5．2．2 典型算法实现
5．2．3 算法实例
5．3 从影恢复形状
5．3．1 SFS问题的起源
5．3．2 SFS问题的解决方案
5．3．3 小值方法
5．3．4 演化方法
5．3．5 局部分析法
5．3．6 线性化方法
5．4 从运动求取结构
5．4．1 光流与运动场
5．4．2 多视图求取结构
5．5 从纹理中恢复形状
5．5．1 从纹理恢复形状的三种方法
5．5．2 纹理模式假设
5．6 案例——从影恢复形状
5．6．1 三维缺陷自动检测
5．6．2 气泡大小的自动检测
5．7 习题

第6章 双目立体视觉
6．1 双目立体视觉原理
6．1．1 双目立体视觉测深原理
6．1．2 极线约束
6．2 双目立体视觉系统
6．2．1 双目立体视觉系统分析
6．2．2 双目立体视觉：平行光轴的系统结构
6．2．3 双目立体视觉的精度分析
6．3 双目标定和立体匹配
6．3．1 双目立体视觉坐标系
6．3．2 双目立体视觉标定
6．3．3 双目立体视觉中的对应点匹配
6．4 案例——双目立体视觉实现深度测量
6．4．1 相机标定
6．4．2 实验图片采集和矫正
6．4．3 圆心坐标提取
6．4．4 视差和深度计算
6．4．5 计算三维坐标并输出三维空间位置
6．5 案例——双目立体视觉三维测量
6．5．1 相机标定
6．5．2 立体匹配
6．5．3 三维重建
6．6 习题

第7章 结构光三维视觉
7．1 条纹投影结构光三维形貌测量方法
7．1．1 傅里叶变换法
7．1．2 相移法
7．2 条纹投影轮廓术
7．2．1 基本原理
7．2．2 DLP技术
7．3 条纹投影中的条纹相位提取方法
7．3．1 傅里叶变换法
7．3．2 窗傅里叶脊法
7．3．3 二维连续小波变换法
7．3．4 BEMD法
7．3．5 VMD法
7．3．6 变分图像分解法
7．4 条纹投影三维测量
7．5 案例——基于条纹投影结构光三维扫描仪的牙模扫描
7．6 案例——线激光三维测量
7．6．1 线激光三维测量原理（激光三角法）
7．6．2 系统设计与搭建
7．6．3 结果与分析
7．7 习题

第8章 深度相机
8．1 三维测量原理
8．1．1 飞行时间法
8．1．2 结构光原理
8．2 深度相机
8．2．1 Kinect
8．2．2 Intel RealSense
8．2．3 MESA SR4000深度相机
8．3 案例——基于Kinect的SLAM
8．3．1 RGB-D视觉SLAM算法流程
8．3．2 RGB-D视觉SLAM前端算法
8．3．3 RGB-D视觉SLAM后端算法
8．3．4 实验设计与结果分析
8．4 案例——大场景三维重建
8．4．1 三维激光扫描
8．4．2 法如三维激光扫描仪的使用方法
8．4．3 测量试验与结果
8．5 习题

第9章 机器学习基础
9．1 机器学习简介
9．2 机器学习的相关数学知识
9．2．1 矩阵运算
9．2．2 优化
9．2．3 概率论
9．3 机器学习的主要方法
9．3．1 人工神经网络
9．3．2 支持向量机
9．3．3 K均值聚类
9．3．4 集成学习
9．3．5 深度学习和深度神经网络
9．4 习题

第10章 机器学习在机器视觉领域的应用
10．1 机器学习在分辨率重建中的应用
10．2 机器学习在模式识别中的应用
10．2．1 基于Pytorch的LeNet-5手写字符识别
10．2．2 基于TensorFlow的交通标志识别
10．2．3 基于深度学习框架MatConvNet的图像识别
10．2．4 基于深度学习框架MatConvNet的图像语义分割
10．3 机器学习在图像去噪领域中的应用
10．4 机器学习在目标跟踪中的应用
10．5 机器学习在三维重建中的应用
10．5．1 双目视觉
10．5．2 光场成像与重建
参考文献