视频处理加速及应用实践：基于英特尔GPU

本书聚焦于使用英特尔的GPU来进行视频加速处理的方案。首先介绍视频处理的理论基础，然后介绍英特尔的GPU处理器架构，接着介绍英特尔推荐的视频处理开发套件Media SDK的环境搭建、框架和功能支持，以及开源框架的环境如何在英特尔的平台上搭建等。接下来是实战的部分，首先介绍视频处理中的两个技术难点——内容管理和码率控制，接下来是编程实战，并针对开发者反馈较多的情况，介绍性能评测和性能优化的部分以及视频会议中视频处理的应用。

本书介绍的是最基本的视频图像处理的理论知识，不会涉及高深的数学知识和最前沿的理论算法。尽管本书的很多案例都基于英特尔GPU 平台，但是很多视频加速处理的思想是相通的，致力于视频处理开发的读者也可以把本书作为入门类书籍参考。

*林森

毕业于哈尔滨工业大学，获计算机应用技术专业硕士学位，现任英特尔(中国)客户端平台架构师。长期在多个硬件平台从事底层优化实现工作，在视频编解码、嵌入式系统、图形图像处理以及并行计算、人工智能等领域有20年以上的科研与产品开发经验。

*唐君

毕业于四川大学，获电子信息科学与技术专业学士学位。现任英特尔网络边缘事业部GPU技术支持架构师，熟悉ARM和x86架构，从事过15年以上显卡驱动开发与调试优化相关工作，在视频解码加速、图形图像处理和系统性能优化领域有非常丰富的实践经验。

*王丹

毕业于天津大学，获通信工程专业学士学位。现任英特尔网络与边缘事业部软件支持和优化工程师。长期从事视频编解码和视频处理相关软件的开发和优化工作，对于Media SDK应用程序调优有丰富的经验。

*傅巧妮

毕业于中国传媒大学，获计算机科学与技术专业学士学位。多媒体领域资深工程师，十多年来一直深耕移动端和PC端从应用到系统的架构设计和研发。

*叶钊

毕业于中国科学技术大学，获软件工程专业硕士学位。曾就职于美满科技、英特尔等芯片公司，长期从事音视频相关的软件开发工作。

*黄妍（知乎：kiwi888）

毕业于中国科学院自动化研究所，获模式识别与智能系统专业硕士学位。现任英特尔AI技术支持工程师，从事人工智能应用研究、项目部署与创新工作。参与翻译书籍Foundations of Machine Learning。

*傅伟

英特尔亚太研发有限公司资深图形图像应用工程师，长期从事计算机数字图像处理、计算机视觉算法与应用、Camera 成像算法开发，拥有多年CPU/GPU/ISP异构计算应用与优化经验。

本书面向的读者为视频行业的广大从业人员，不管是新进入这个行业的开发小白，还是众多战斗在第一线的销售、售前工程师以及现场工程师等，甚至是具有数十年工作经验的资深软硬件开发人员，都可以从本书获益。

随着科技和网络的蓬勃发展，视频作为主要的信息载体，应用场景越来越多——从传统的电视电影到现在的在线视频服务，从点播到直播，从单向接收到实时互动。同时，随着屏幕越来越清晰，尺寸越来越大，对视频的尺寸、清晰度等的要求变得越来越高，这也对硬件的算力提出了越来越高的要求。作为计算平台的主要硬件供应商，英特尔提供了多款能够加速处理复杂视频应用的硬件平台，例如，性价比合适的集成显卡、可插拔的独立显卡、性能强悍并且可扩展的服务器处理器、可实现客户定制化的FPGA芯片等。GPU架构的快速发展，特别是英特尔GPU内集成了很多专用的低功耗视频数据处理模块，使其具有很强的视频加速处理能力。虽然国内也有很多开发者使用英特尔GPU，然而没有相关书籍来系统梳理这部分知识。因此，本书将聚焦于使用英特尔的GPU来进行视频加速处理的方案。

本书将从视频数据的理论基础、硬件基础、软件接口、实战等方面进行介绍。首先深入浅出地介绍一些大家耳熟能详的数字图像的基本概念；然后介绍数字图像压缩的理论基础和评价方法，以及现在常用的一些视频编码的标准格式；接下来介绍英特尔GPU的架构特点，因为它集成了专用的多媒体处理模块，具备高效、低功耗的视频加速处理能力；再接下来详细介绍相关软件组件的设计原理以及环境搭建过程等，这些组件包括免费开源的视频处理开发套件Media SDK、基于Media SDK和OpenVINO实现的高并发视频分析业务评估工具（SVET），以及业界常用的视频开源框架FFmpeg、GStreamer和OpenCV等。由于视频处理加速在嵌入式环境的广泛应用，我们在第5章详细介绍了Linux系统下对应的软件栈，对开发者比较关心的DRM框架、i915驱动、VA-API、GmmLib的核心知识做了梳理。这些软件接口各有所长，面向的应用也千差万别，但是底层都可以通过英特尔的驱动调用英特尔的GPU来进行视频加速处理，所以，读者可以根据自身项目的需求有选择地阅读。在介绍完硬件架构和软件接口之后，就开始进行实战技巧的介绍，主要包括视频编解码处理、拼接显示、性能监测、性能验证和优化等，并配有命令行以及参考代码。相信这种介绍方法能够帮助读者少走弯路，节省开发成本，起到事半功倍的作用。

本书面向的读者为视频行业的广大从业人员，不管是新进入这个行业的开发小白，还是众多战斗在第一线的销售、售前工程师以及现场工程师等，甚至是具有数十年工作经验的资深软硬件开发人员，都可以通过本书了解英特尔GPU的架构、能力、特点以及开发框架等，并找到解决实际问题的方法和思路，快捷地研发出有特点的视频产品。

另外，本书介绍的是最基本的视频图像处理的理论知识，不会涉及高深的数学知识和最前沿的理论算法，因为本书面向的是那些想要把视频处理技术做成可以落地的项目的从业者和开发者。当然有很多讲述理论的书，想要深入学习视频编解码知识的读者可以参考《数字视频编码技术原理（第二版）》（由高文、赵德斌、马思伟所著）等。尽管本书的很多案例都基于英特尔GPU平台，但是很多视频加速处理的思想是相通的，致力于视频处理开发的读者也可以把本书作为入门类书籍参考。

在整本书的描述过程中，我们希望尽可能地把想要表述的观点通俗易懂地表达出来。众所周知，很多技术类的书籍常常因为技术本身比较复杂而让读者感到晦涩难懂，我们希望通过我们的经验帮助读者少走一些弯路，从而降低开发的难度。同时，因为在视频技术行业里大家对某些英文单词已经形成了基本认知，如果直接翻译成中文会给广大读者造成困扰，所以我们在描述过程中会把某些专业名词对应的英文放到括号内，以便把概念介绍得更加明确，易于阅读和理解。