计算机视觉入门到实践

本书是你了解计算机视觉的一站式指南。利用Python、TensorFlow、Keras和OpenCV的功能执行图像处理、对象检测、特征检测等项目。通过对卷积神经网络的介绍，你将学习如何使用Keras构建深度神经网络，以及如何使用它对Fashion-MNIST数据集进行分类。关于对象检测，你将学习到使用TensorFlow实现简单的面部检测器，以及复杂的基于深度学习的对象检测器（例如Faster R-CNN和SSD）的工作原理。你也将学会使用FCN模型进行语义分割，并使用DeepSORT跟踪对象。不仅如此，你还将学习到在标准数据集上使用视觉SLAM（vSLAM）技术，例如ORB-SLAM。

本书适合希望以*实际的方式理解和实现与计算机视觉和图像处理相关的各种任务的机器学习从业人员和深度学习学习者阅读。

关于作者

Abhinav Dadhich是东京ABEJA公司的一名深度学习方面的研究以及应用开发人员。其专注于为图像分类、目标检测、分割等计算机视觉应用设计深度学习模型，并且目前将全部精力都倾注在理解和复现人类视觉系统的研究与实现上。而此前，其一直致力于三维地图构建和机器人导航领域。Dadhich毕业于印度IIT Jodhpur学院，获得电子工程学士学位，并在日本NAIST大学获得信息科学硕士学位。在GitHub专栏为多个主题提供注释和代码。

关于译者

连晓峰，博士，北京理工大学模式识别与智能系统专业毕业。现任北京工商大学副教授，研究生导师。中国自动化学会机器人竞赛工作委员会委员、中国教育发展战略学会人工智能与机器人教育专业委员会理事、中国人工智能学会高级会员、中国电子学会高级会员等。目前从事复杂系统建模与优化控制、智能机器人、模式识别与智能系统、智能感知与机器学习、工业先进控制等教学与科学研究工作。

原书前言

计算机视觉是计算机科学中研究最为广泛的一个子领域，其中包括人脸检测、图像搜索和艺术图像变换等许多重要应用。随着深度学习方法的广泛应用，近年来计算机视觉在自动驾驶汽车、机器人、医学、虚拟现实和增强现实等方面得到了广泛应用。本书介绍了一种学习计算机视觉的实用方法。通过代码块和对算法理论的理解，将有助于建立扎实的计算机视觉基础。本书介绍了如何使用OpenCV、Keras和TensorFlow等标准工具来创建应用程序。本书中介绍的各种概念和实现方法可用于机器人、图像处理和自动驾驶汽车等多个不同领域。本书中的每一章都附有代码和结果以强化读者对学习内容的理解。

本书读者

本书适合从事计算机视觉相关工作，并想要获得具体算法实现方法的专业人员和学习者阅读。读者最好已具备Python和计算机编程的基本知识，可以编写和运行简单Python脚本（包括科学Python），同时也可以理解线性代数和编程相关的基本数学知识。

本书通过对图像滤波、目标检测、分割、跟踪和SLAM 等内容的学习，将帮助读者学会设计新的计算机视觉应用程序。读者可以了解行业内所用的计算机视觉技术以及如何自行编写代码。同样对于广泛使用的库也是如此。读者可以利用这些标准库来创建不同领域的应用程序，包括图像滤波、图像处理、目标检测和基于深度学习的高级应用等程序。本书可帮助读者从计算机视觉基础知识逐步深入学习先进技术的应用实践。

本书的主要内容

第1章计算机视觉快速入门，简要介绍计算机视觉的构成、在不同领域的应用以及不同类型问题的细分方法。本章还介绍了在OpenCV中读取图像的基本代码。另外，还简要概述了不同颜色空间及其可视化技术。

第2章库、开发平台和数据集，详细阐述如何设置开发环境并在其中安装库。本章介绍的各种数据集既包括书中所用的数据集，也包括当前计算机视觉各个子领域最常用的数据集。同时，还给出了下载和加载所用库的封装器（如Keras）的链接。

第3章OpenCV中的图像滤波和变换，介绍各种滤波技术，包括线性和非线性滤波及其在OpenCV中的实现方法。本章还介绍了图像变换技术，如线性平移、绕给定轴的旋转以及完全仿射变换。本章所介绍的技术有助于在多个领域创建应用程序并提高图像质量。

第4章什么是特征，介绍计算机视觉的特征及其在各种应用中的重要性。本章包括具有基本特征的Harris角点检测器、FAST特征检测器和具有鲁棒性快速特征的ORB特征。同时还展示了在OpenCV中的具体应用，这些应用包括模板与原始图像匹配，以及同一对象的两幅图像匹配。另外，还讨论了黑箱特征及其必要性。

第5章卷积神经网络，首先介绍简单的神经网络及其组成。还介绍了Keras中的卷积神经网络，包括激活层、池化层和全连接层等各种组件。解释了每个组成部分参数变化的结果，读者可以很容易地复现这些结果。通过利用图像数据集实现了一个简单的CNN模型，以进一步加深理解。除了VGG、Inception和ResNet等常用的CNN架构之外，还介绍了迁移学习，从而了解到一个最先进的图像分类深度学习模型。

第6章基于特征的目标检测，深入理解图像识别问题。通过OpenCV解释了人脸检测器等检测算法。另外，还介绍了一些最近常用的基于深度学习的目标检测算法，如Faster R-CNN、SSD等。通过在自定义图像上执行TensorFlow目标检测API来阐述各种方法的有效性。

第7章分割和跟踪，主要包括两部分。首先介绍图像实例识别问题，并实现了一个用于分割的深度学习模型。第二部分介绍OpenCV中的MOSSE跟踪器，该跟踪器执行效率高且快速。在跟踪问题上，还介绍了基于深度学习的多目标跟踪方法。

第8章三维计算机视觉，描述从几何角度如何进行图像分析。读者首先了解单幅图像计算深度所面临的挑战，然后会学习到如何使用多幅图像来解决该问题。另外，还介绍了使用视觉里程计跟踪移动相机姿态的方法。最后，介绍了SLAM问题，提出了一种基于视觉SLAM（vSLAM）的解决方案。

第9章计算机视觉中的数学，介绍理解计算机视觉所需的基本概念。其中介绍的向量和矩阵运算通过Python实现得到进一步扩充。另外，还简述了概率论，并阐述了各种分布的相关内容。

第10章计算机视觉中的机器学习，概述了机器学习建模以及所涉及的各种关键术语。读者还将了解维度灾难，以及所涉及的各种预处理和后处理技术。另外，还介绍了机器学习模型的几种评估工具和方法，这些工具和方法在视觉应用中得到了广泛应用。

译者序

计算机视觉是研究如何使用人工智能系统从图像或多维数据中感知信息的科学，是通过计算机及其相关设备对生物视觉的一种模拟，其主要任务是通过对采集的图像或视频进行处理以获得相应场景的三维信息。计算机视觉是跨学科的综合研究领域，包括图像处理、模式识别或图像识别、景物分析、图像理解等，另外，还包括空间形状描述、几何建模以及认知过程。随着人工智能的发展，现已成为研究的热门领域。

全书共10章，涵盖了图像滤波与特征检测、目标分类与识别、检测与跟踪、视觉SLAM、卷积神经网络学习模型等内容。本书首先介绍了计算机视觉的基本构成，以及在不同领域的应用。然后阐述了如何配置开发环境，以及常用软件库和数据集的安装。接下来讨论了各种图像滤波技术以及图像变化技术。特征是计算机视觉研究中的一个重要内容，因此本书详细介绍了Harris角点、FAST特征和ORB特征检测与匹配等内容。然后，针对图像分类、检测识别问题，通过卷积神经网络、深度学习等方法，实现了各种学习模型。另外，还介绍了基于视觉SLAM的三维计算机视觉应用，以及相应的数学原理。在本书的最后，我们将讨论机器学习模型的评估方法及其应用。

本书作者具有丰富的开发经验，主要致力于针对图像分类、目标检测、分割等计算机视觉应用设计深度学习模型。全书内容丰富，具有较强的实践性，针对实际案例进行了讨论分析，给出了详细的代码与注释，适用于从事计算机视觉算法开发与实践的初学者和开发人员。

本书主要由连晓峰和谭励负责翻译，此外，赵宇琦、刘栋、史佳琦、吕芯悦、马子豪、任雪平、张斌、王子天、吴京鸿等人也参与了部分翻译工作。全书由连晓峰校正统稿。由于译者水平有限，书中翻译不当或错误之处恳请业内专家学者和广大读者不吝赐教。

第1章　计算机视觉快速入门

1.1　什么是计算机视觉

1.2　计算机视觉无处不在

1.3　入门

1.3.1　读取图像

1.3.2　图像颜色转换

1.4　计算机视觉研究的相关会议

1.5　小结

第2章　库、开发平台和数据集

2.1　库及其安装方法

2.1.1　安装Anaconda

2.1.2　安装OpenCV

2.1.3　用于深度学习的TensorFlow

2.1.4　用于深度学习的Keras

2.2　数据集

2.2.1　ImageNet

2.2.2　MNIST

2.2.3　CIFAR-10

2.2.4　Pascal VOC

2.2.5　MSCOCO

2.2.6　TUM RGB-D数据集

2.3　小结

参考文献

第3章　OpenCV中的图像滤波和变换

3.1　数据集和库

3.2　图像处理

3.3　滤波器概述

3.3.1　线性滤波器

3.3.2　非线性滤波器

3.3.3　图像梯度

3.4　图像变换

3.4.1　平移

3.4.2　旋转

3.4.3　仿射变换

3.5　图像金字塔

3.6　小结

第4章　什么是特征

4.1　特征用例

4.1.1　数据集和库

4.1.2　为何特征如此重要

4.2　Harris角点检测

4.2.1　FAST特征

4.2.2　ORB特征

4.2.3　黑箱特征

4.2.4　 应用—在图像中检测目标对象

4.2.5　应用—是否相似

4.3　小结

参考文献

第5章　卷积神经网络

5.1　数据集和库

5.2　神经网络简介

5.2.1　一个简单的神经网络

5.3　重温卷积运算

5.4　卷积神经网络

5.4.1　卷积层

5.4.2　激活层

5.4.3　池化层

5.4.4　全连接层

5.4.5　批归一化

5.4.6　退出

5.5　CNN 实践

5.5.1　Fashion-MNIST 分类器训练代码

5.5.2　CNN 分析

5.5.3　迁移学习

5.6　小结

第6章 基于特征的目标检测

6.1　目标检测概述

6.2　目标检测挑战

6.3　数据集和库

6.4　目标检测方法

6.4.1　基于深度学习的目标检测

6.5　小结

参考文献

第7章　分割和跟踪

7.1　数据集和库

7.2　分割

7.2.1　分割挑战

7.2.2　用于分割的CNN

7.2.3　FCN的实现

7.3　跟踪

7.3.1　跟踪挑战

7.3.2　目标跟踪方法

7.4　小结

参考文献

第8章　三维计算机视觉

8.1　数据集和库

8.2　应用

8.3　成像原理

8.4　图像对齐

8.5　视觉里程计

8.6　视觉SLAM

8.7　小结

参考文献

第9章　计算机视觉中的数学

9.1　数据集和库

9.2　线性代数

9.2.1　向量

9.2.2　矩阵

9.2.3　Hessian矩阵

9.2.4　奇异值分解

9.3　概率论简述

9.3.1　什么是随机变量

9.3.2　期望

9.3.3　方差

9.3.4　概率分布

9.3.5　联合分布

9.3.6　边缘分布

9.3.7　条件分布

9.3.8　贝叶斯定理

9.4　小结

第10章　计算机视觉中的机器学习

10.1　什么是机器学习

10.2　机器学习技术分类

10.2.1　监督式学习

10.2.2　无监督式学习

10.3　维度灾难

10.4　机器学习的滚球视角

10.5　常用工具

10.5.1　预处理

10.5.2　后处理

10.6　评估

10.6.1　准确率

10.6.2　召回率

10.6.3　F-分数

10.7　小结