基于GPU加速的计算机视觉编程：使用OpenCV和CUDA实时处理复杂图像数据

本书提供了OpenCV与CUDA集成以实现实际应用的详细概述。首先介绍使用CUDA进行GPU编程的基础知识。然后，通过一些实际的例子讲解如何利用GPU和CUDA实现OpenCV加速。一旦掌握了核心概念，读者将熟悉如何在NVIDIA Jetson TX1上部署OpenCV应用程序，该应用程序在计算机视觉和深度学习应用程序中非常流行。本书的*后几章解释了PyCUDA，这是一个Python库，它利用CUDA和GPU的强大功能来加速。在本书的*后，读者将通过本书的实践方法增强计算机视觉应用程序。

包米克维迪雅（Bhaumik Vaidya）是一位经验丰富的计算机视觉工程师和导师。他在OpenCV库，尤其是解决觉计算机视觉问题方面做了大量工作。他是大学硕士项目的金牌得主，目前正在攻读计算机视觉算法加速方面的博士学位。他指导了许多计算机视觉和超大规模集成(VLSI)方面的项目。他曾在VLSI领域做过ASIC验证工程师，对硬件架构也有很好的了解。他在声誉良好的期刊上发表了许多研究论文。他和他的博士导师还获得了英伟达Jetson TX1嵌入式开发平台的研究资助。

本书是OpenCV开发人员的必读指南，手把手教你使用OpenCV和CUDA实现GPU加速的计算机视觉项目开发，帮你快速掌握利用GPU实时处理复杂图像数据的高效技术。
全书共11章，第1章介绍CUDA架构及应用；第2章介绍如何使用CUDA为GPU编写程序；第3章介绍如何从CUDA程序中调用线程，以及多个线程如何相互通信；第4章介绍CUDA streams和CUDA events等高级概念；第5章介绍在所有操作系统中安装支持CUDA的OpenCV库；第6章讲解如何使用OpenCV编写基本的计算机视觉操作，如像素级的图像操作、过滤和形态学操作；第7章介绍使用OpenCV和CUDA加速一些实际计算机视觉应用程序的步骤；第8章介绍如何在Jetson Tx1嵌入式平台上安装OpenCV；第9章介绍如何在Jetson TX1上部署计算机视觉应用程序 ；第10章介绍PyCUDA；第11章讲解如何使用PyCUDA编写程序。

计算机视觉正在给许多行业带来革命性的变化，OpenCV是使用最广泛的计算机视觉工具之一，能够在多种编程语言中工作。目前，需要在计算机视觉中实时处理较大的图像，而单凭OpenCV是难以做到的。在这方面图形处理器（GPU）和CUDA可以提供帮助。因此，本书提供了一个将OpenCV与CUDA集成的实际应用的详细概述。本书首先解释了用CUDA对GPU编程，这对于从未使用过GPU的计算机视觉开发人员来说是必不可少的。然后通过一些实例说明了如何用GPU和CUDA对OpenCV进行加速。当要在现实生活场景中使用计算机视觉应用程序时，需要将其部署在嵌入式开发板上，本书涵盖了如何在NVIDIA Jetson TX1上部署OpenCV应用程序，这是非常流行的计算机视觉和深度学习应用程序。本书的最后一部分介绍了PyCUDA，结合Python使用OpenCV的计算机视觉开发人员会使用它。PyCUDA是一个Python库，它利用CUDA和GPU的功能来加速。本书为在C++或Python中使用OpenCV的开发人员提供了一个完整的指南，帮助他们通过亲身体验来加速计算机视觉应用程序。
本书的读者对象
对于想学习如何利用GPU处理更复杂的图像数据的OpenCV开发人员，本书是必读指南。大多数计算机视觉工程师或开发人员在试图实时处理复杂的图像数据时都会遇到问题。这就需要使用GPU进行计算机视觉算法的加速，而这有助于人们开发能够实时处理复杂图像数据的算法。大多数人认为硬件加速只能通过FPGA和ASIC设计来实现，为此，他们需要Verilog或VHDL等硬件描述语言的知识。然而，只在CUDA出现之前情况才如此。CUDA利用了NVIDIA GPU的强大功能，可以使用支持CUDA的C++和Python等编程语言来加速算法。本书将通过开发实际应用程序来帮助这些开发人员了解这些概念并在嵌入式平台上部署计算机视觉应用程序，如NVIDIA Jetson TX1。
本书的主要内容
第1章介绍了CUDA架构以及它如何重新定义GPU的并行处理能力，讨论了CUDA架构在实际场景中的应用，介绍了CUDA的开发环境，以及如何在所有操作系统上安装CUDA。
第2章教读者使用CUDA为GPU编写程序。从一个简单的Hello World程序开始，逐步用CUDA C构建复杂示例。该章还介绍了内核如何工作以及如何使用设备属性，并讨论了与CUDA编程相关的术语。
第3章向读者介绍了如何从CUDA程序中调用线程，多个线程如何相互通信，多个线程并行工作时如何同步，以及常量内存和纹理内存。
第4章包括CUDA流和CUDA事件等高级概念，描述了如何使用CUDA加速排序算法，并研究了使用CUDA加速简单图像处理功能。
第5章描述了在所有操作系统中安装支持CUDA的OpenCV库，解释了如何使用一个简单的程序来测试这个安装，比较了使用和不使用CUDA支持执行的图像处理程序的性能。
第6章教读者如何使用OpenCV开发基本的计算机视觉操作应用程序，如像素级的图像操作、滤波和形态学操作。
第7章介绍了使用OpenCV和CUDA加速一些实际计算机视觉应用程序的步骤，描述了用于对象检测的特征检测和描述算法。该章还介绍了基于Haar级联和视频分析技术的人脸检测加速，如用于对象跟踪的背景减法。
第8章介绍了Jetson TX1嵌入式平台以及如何使用它来加速和部署计算机视觉应用程序，还介绍了在Jetson TX1上使用JetPack安装文件安装OpenCV for Tegra的过程。
第9章包括在Jetson TX1上部署计算机视觉应用程序，介绍了如何构建不同的计算机视觉应用程序，以及如何将摄像机与Jetson TX1连接用于视频处理应用程序。
第10章介绍了PyCUDA，这是一个用于GPU加速的Python库。该章描述了在所有操作系统上的安装过程。
第11章教读者如何使用PyCUDA编写程序，其中详细描述了从主机到设备的数据传输和内核执行的概念，涵盖了如何在PyCUDA中使用数组和开发复杂的算法。
第12章介绍了使用PyCUDA的基本计算机视觉应用的开发和加速，描述了颜色空间转换操作、直方图计算和不同的算术操作作为计算机视觉应用的例子。
充分利用本书
本书介绍的示例可以在Windows、Linux和macOS上运行，书中涵盖了所有的安装说明。读者最好对计算机视觉概念和编程语言（如C++和Python）有全面了解，最好用NVIDIA GPU硬件来执行书中介绍的示例。
下载示例代码及彩色图像
本书的示例代码及所有截图和样图，可以从http://www.packtpub.com通过个人账号下载，也可以访问华章图书官网http://www.hzbook.com，通过注册并登录个人账号下载。

前言
作者简介
审稿人简介
第1章　CUDA介绍及入门 1
1.1　技术要求 1
1.2　CUDA介绍 1
1.2.1　并行处理 2
1.2.2　GPU架构和CUDA介绍 2
1.2.3　CUDA架构 3
1.3　CUDA应用程序 4
1.4　CUDA开发环境 5
1.4.1　支持CUDA的GPU 5
1.4.2　CUDA开发工具包 6
1.5　在所有操作系统上安装CUDA工具包 6
1.5.1　Windows 6
1.5.2　Linux 7
1.5.3　Mac 8
1.6　一个基本的CUDA C程序 9
1.6.1　在Windows上创建CUDA C程序的步骤 10
1.6.2　在Ubuntu上创建CUDA C程序的步骤 10
1.7　总结 11
1.8　测验题 11
第2章　使用CUDA C进行并行编程 12
2.1　技术要求 12
2.2　CUDA程序结构 13
2.2.1　CUDA C中的双变量加法程序 13
2.2.2　内核调用 14
2.2.3　配置内核参数 15
2.2.4　CUDA API函数 16
2.2.5　将参数传递给CUDA函数 17
2.3　在设备上执行线程 19
2.4　在CUDA程序中获取GPU设备属性 20
2.4.1　通用设备信息 21
2.4.2　内存相关属性 22
2.4.3　线程相关属性 22
2.5　CUDA中的向量运算 24
2.5.1　两个向量加法程序 24
2.5.2　对比CPU代码和GPU代码的延迟 27
2.5.3　对向量的每个元素进行平方 28
2.6　并行通信模式 29
2.6.1　映射 29
2.6.2　收集 29
2.6.3　分散式 30
2.6.4　蒙板 30
2.6.5　转置 30
2.7　总结 30
2.8　测验题 31
第3章　线程、同步和存储器 32
3.1　技术要求 32
3.2　线程 33
3.3　存储器架构 36
3.3.1　全局内存 37
3.3.2　本地内存和寄存器堆 38
3.3.3　高速缓冲存储器 39
3.4　线程同步 39
3.4.1　共享内存 39
3.4.2　原子操作 42
3.5　常量内存 46
3.6　纹理内存 48
3.7　向量点乘和矩阵乘法实例 50
3.7.1　向量点乘 50
3.7.2　矩阵乘法 54
3.8　总结 58
3.9　测验题 58
第4章　CUDA中的高级概念 60
4.1　技术要求 60
4.2　测量CUDA程序的性能 61
4.2.1　CUDA事件 61
4.2.2　NVIDIA Visual Profiler 63
4.3　CUDA中的错误处理 64
4.3.1　从代码中进行错误处理 65
4.3.2　调试工具 66
4.4　CUDA程序性能的提升 66
4.4.1　使用适当的块数量和线程数量 66
4.4.2　最大化数学运算效率 67
4.4.3　使用合并的或跨步式的访存 67
4.4.4　避免warp内分支 67
4.4.5　使用锁定页面的内存 68
4.5　CUDA流 69
4.6　使用CUDA加速排序算法 73
4.7　利用CUDA进行图像处理 75
4.8　总结 80
4.9　测验题 81
第5章　支持CUDA的OpenCV入门 82
5.1　技术要求 82
5.2　图像处理和计算机视觉简介 83
5.3　OpenCV简介 83
5.4　安装支持CUDA的OpenCV 84
5.4.1　在Windows上安装OpenCV 84
5.4.2　在Linux上安装OpenCV 89
5.5　使用OpenCV处理图像 92
5.5.1　OpenCV中的图像表示 92
5.5.2　图像的读取和显示 93
5.5.3　使用OpenCV创建图像 96
5.5.4　将图像保存到文件 99
5.6　使用OpenCV处理视频 99
5.6.1　处理存储在计算机上的视频 100
5.6.2　处理从网络摄像机读取的视频 101
5.6.3　将视频保存到磁盘 102
5.7　使用OpenCV CUDA模块的基本计算机视觉应用程序 104
5.7.1　OpenCV CUDA模块简介 104
5.7.2　对图像的算术和逻辑运算 104
5.7.3　更改图像的颜色空间 108
5.7.4　图像阈值处理 109
5.8　OpenCV应用程序使用和不使用CUDA支持的性能比较 110
5.9　总结 113
5.10　测验题 114
第6章　使用OpenCV和CUDA进行基本的计算机视觉操作 115
6.1　技术要求 115
6.2　访问图像的各个像素强度 116
6.3　OpenCV中直方图的计算和均衡 117
6.4　图像的几何变换 120
6.4.1　图像大小调整 120
6.4.2　图像平移与旋转 121
6.5　对图像进行滤波操作 122
6.5.1　对图像的卷积运算 122
6.5.2　对图像进行低通滤波操作 123
6.5.3　对图像进行高通滤波操作 128
6.6　图像的形态学操作 131
6.7　总结 134
6.8　测验题 134
第7章　使用OpenCV和CUDA进行对象检测和跟踪 135
7.1　技术要求 135
7.2　对象检测和跟踪简介 136
7.2.1　对象检测和跟踪的应用 136
7.2.2　对象检测中的挑战 136
7.3　基于颜色的对象检测和跟踪 136
7.4　基于形状的对象检测和跟踪 139
7.4.1　Canny边缘检测 139
7.4.2　使用Hough变换进行直线检测 140
7.4.3　对圆形进行检测 143
7.5　关键点检测器和描述符 144
7.5.1　加速段测试特征功能检测器 144
7.5.2　面向FAST和旋转BRIEF的特征检测 145
7.5.3　加速强特征检测和匹配 147
7.6　使用Haar级联的对象检测 150
7.6.1　使用Haar级联进行人脸检测 151
7.6.2　使用Haar级联进行眼睛检测 153
7.7　使用背景减法进行对象跟踪 155
7.7.1　高斯混合法 155
7.7.2　GMG背景减法 157
7.8　总结 159
7.9　测验题 160
第8章　Jetson TX1开发套件 161
8.1　技术要求 161
8.2　Jetson TX1简介 161
8.2.1　Jetson TX1的重要特性 163
8.2.2　Jetson TX1的应用 163
8.3　在Jetson TX1上安装JetPack 163
8.3.1　安装的基本要求 164
8.3.2　安装的步骤 164
8.4　总结 171
8.5　测验题 171
第9章　在Jetson TX1上部署计算机视觉应用程序 172
9.1　技术要求 172
9.2　Jetson TX1 GPU的设备属性 173
9.3　Jetson TX1上的基本CUDA程序 174
9.4　Jetson TX1上的图像处理 176
9.4.1　编译支持CUDA的OpenCV 176
9.4.2　读取和显示图像 178
9.4.3　图像合成 178
9.4.4　图像阈值处理 180
9.4.5　Jetson TX1上的图像滤波 182
9.5　Jetson TX1的摄像机接口 184
9.6　Jetson TX1上的高级应用程序 185
9.6.1　使用Haar级联进行人脸检测 185
9.6.2　使用Haar级联进行眼睛检测 187
9.6.3　高斯混合背景减法 188
9.7　在Jetson TX1上使用Python和OpenCV实现计算机视觉 191
9.8　总结 192
9.9　测验题 193
第10章　PyCUDA入门 194
10.1　技术要求 194
10.2　Python编程语言简介 194
10.3　PyCUDA模块简介 195
10.4　在Windows上安装PyCUDA 196
10.5　在Ubuntu上安装PyCUDA 199
10.6　总结 201
10.7　测验题 201
第11章　使用PyCUDA 202
11.1　技术要求 202
11.2　编写第一个PyCUDA程序 203
11.3　从PyCUDA程序访问GPU设备属性 204
11.4　在PyCUDA中执行线程和块 206
11.5　PyCUDA中的基本编程概念 206
11.5.1　在PyCUDA中两个数字相加 207
11.5.2　使用driver类简化加法程序 208
11.6　使用CUDA事件测量PyCUDA程序的性能 209
11.6.1　CUDA事件 209
11.6.2　使用大型数组加法测量PyCUDA的性能 210
11.7　PyCUDA中的复杂程序 212
11.7.1　对PyCUDA中的矩阵元素进行平方运算 212
11.7.2　GPU数组点乘 215
11.7.3　矩阵乘法 217
11.8　PyCUDA的高级内核函数 219
11.8.1　PyCUDA的元素级内核函数 219
11.8.2　归约内核函数 220
11.8.3　scan内核函数 221
11.9　总结 222
11.10　测验题 223
第12章　使用PyCUDA的基本计算机视觉应用程序 224
12.1　技术要求 224
12.2　PyCUDA中的直方图计算 224
12.2.1　使用原子操作 225
12.2.2　使用共享内存 227
12.3　使用PyCUDA进行基本的计算机视觉操作 229
12.3.1　PyCUDA中的颜色空间转换 230
12.3.2　在PyCUDA执行图像合成 233
12.3.3　在PyCUDA中使用gpuarray进行图像反转 234
12.4　总结 235
12.5　测验题 235
测验题答案 236