音视频开发进阶指南：基于Android与iOS平台的实践

书中首先通过介绍音视频的物理现象与基础概念，帮助读者建立模拟信号到数字信号转化的过程，然后重点介绍了如何在移动端开发音视频项目，其中包括开发中所需要了解的各种知识，如音视频的解码与渲染，采集与编码，音视频的处理与性能优化等；在此基础上最后综合当下*流行的直播场景，介绍如何将书中的已有项目改造、适配成为一个直播产品，进一步帮助读者自由、有效的开发出功能丰富、性能一流的音视频App。

展晓凯

曾工作于淘宝，参与设计开发淘宝旅行的机票搜索业务，曾就职于115网盘参与核心功能的研发，现就职于北京*淘科技有限公司，任音视频架构师，在公司的唱吧、唱吧直播间、火星三条产品线都负责客户端核心的架构设计与开发工作，其中唱吧目前公布的数据已有几亿用户，月活也在千万量级。作者在工作与生活中非常乐于帮助同事与朋友，痴迷于互联网可以推动整个人类历史的发展，同时作为这个大时代的一个小人物，作者也希望帮助更多的人参与到互联网行业中。

魏晓红

多年以来一直从事Android应用的开发工作，在Android点播、直播相关领域有着丰富的经验，由于开发的产品在印度有非常多的Android用户，所以这让其积累了丰富的Android端适配的经验，作者在平时的工作与生活中乐于探讨技术，希望互利网可以改变人类生活。

适读人群 ：开发工程师, 你们只需要一点移动开发经验就可以阅读本书了；当然如果你已经是一个Senior的移动开发工程师或者架构师的话，那么你读起来更会是游刃有余；再进一步，如果你已

作者团队由来自国内一线移动互联网公司的技术专家组成，不仅能确保内容的专业性，而且能把实际一线丰富的经验带给读者，并在github上开源了书中的所有项目，让读者可以更容易的集成到自己的App中，对于移动端的音视频开发者来讲，这本书可以作为枕边书。

Preface?前　　言为什么要写这本书整个音视频领域的架构以及开发已经演进了很长时间，从最开始的广电领域，到PC端的音视频领域，再到本书所介绍的移动端的音视频领域。尤其在这几年中，移动端音视频领域架构的变化是巨大的。在移动互联网的发展热潮中，我有幸从事了音视频领域的设计与开发，并且就职于最时尚的手机KTV——唱吧，这使得我开发出来的东西能够服务于几亿用户。对于音视频的移动端的应用，不论是开发还是使用，在近两年都达到了一个高峰，而作为一名工程师，如何高效地开发出一个音视频App，是一件非常困难的事情，特别是对于不太了解音视频概念的工程师。我从事软件开发已有7年多的时间，接触音视频领域也已经有5年多，在整个开发过程中，不同的时间段会遇到不同的挑战，尤其是在最开始涉足音视频领域的时候，真可谓举步维艰。首先，对于音视频的基础概念不是特别清楚，再者在工作中边学边做，很难对整个音视频领域有一个全面的了解，并且市面上没有相关成熟的资料从更高的层次来介绍音视频领域在移动端的演进与发展。这几年的设计实战与开发经验，以及带新人入门的众多感触，让我有了写这本书的动力，同时也形成了这本书的核心内容，我希望通过本书可以帮助更多想要在移动端音视频领域实现自己想法的工程师，让大家可以顺利地建立起自己的音视频App。我非常希望能为刚入门的读者或者遇到困难的读者提供帮助，希望大家可以享受整个开发的过程，享受自己开发的产品为人们的生活带来便利的成就感。另外，从整个音视频开发领域来讲，我也十分希望能够通过本书贡献出自己的绵薄之力。
读者对象产品经理，这部分读者可以从中了解在移动端进行音视频开发会遇到的很多问题以及对应的优化策略，例如：如何通过音视频的统计数据为产品提供更加流畅的策略（视频观看的秒开、直播推流的流畅度、视频上传的成功率等）。
项目经理，这部分读者可以了解很多时下流行的名词与概念，不再会因为几个专业名词就让自己不知所措，并且有助于更好地评估音视频项目开发中的风险与进度。
测试人员，这部分读者可以学习在音视频App中由于处理过程不同而导致的瓶颈问题，书中也提到了一些自动化测试相关的命令以及工具，可以对CPU的负载情况、内存的占用情况、内存泄漏问题等进行分析。
架构师与工程师，这部分读者只需要一点移动开发经验就可以阅读本书了。当然如果你已经是一个高级移动开发工程师或者架构师，那么读起本书来将更加游刃有余。再进一步，如果你已经是移动领域的音视频开发工程师了，那么恭喜你，我们之间将会有一场关于技术领域内部的对话。
开设相关课程的高等院校。
如何阅读本书为了避免说教式的讲解带来枯燥乏味的阅读体验，本书给出了大量的实例及生产环境下的案例。本书可分为四个部分：第一部分是入门，从理论基础开始讲解，最终会产生两个实践项目；第二部分是提高，基于第一部分的项目添加特效，形成一个完整的多媒体项目；第三部分是扩展，结合当下比较流行的直播场景进行实际案例分析；第四部分是工具，介绍当下大部分可以提高开发以及测试效率的工具。下面是各个章节的基本介绍。
第1章，介绍音视频的基础概念，其中包括音视频的基础数据格式、编码后的数据格式以及不同格式之间的相互转换等。
第2章，从零开始讲解如何搭建一个iOS项目和一个Android项目，并且添加C++支持，因为在音视频领域的开发中，有相当一部分的代码需要用C++来编写，这样就可以做到两个平台（Android和iOS平台）共用一套代码仓库，以提升开发效率。然后讲解交叉编译，因为在音视频开发过程中会用到很多第三方开源库，如果将这些库编译到我们的项目中，势必要进行交叉编译，因此本章会重点讲解这些内容。
第3章，探讨FFmpeg开源库。对于音视频开发来讲，FFmpeg开源库是众所周知也是普遍使用的。本章首先从编译开始，接着是命令行使用，再到源码结构，最后是API调用，以层层递进的方式对FFmpeg开源库展开介绍。
第4章，讲解如何利用各自平台的API进行声音与画面的渲染以及解码，对于画面的渲染，推荐使用OpenGL ES，两个平台可以使用同一个代码仓库。
第5章，实现一款视频播放器。有了前四章的基础，我们已经完全可以构建起一个视频播放器了。本书最大的特点就是经过几章基础知识的学习立即开始一个项目的实践，通过本章的视频播放器项目，我们将会熟悉播放器是如何工作的。
第6章，重点介绍音视频的采集与编码器。特别是硬件编解码器在各个平台上的使用，使得应用能够更高效（耗电更少、发热更少、界面更流畅）地运行在用户的手机上。
第7章，继续开发一个视频录制的新项目，该项目可以使我们更加熟悉音视频应用在各个平台下的实现。
第8章，讲解如何处理音频流。毕竟让别人听采集出来的干声是很不礼貌的，本章将利用各种特效来美化采集的声音。
第9章，讲解如何处理视频流，使视频中的颜值变得更高，毕竟爱美之心人皆有之。

Contents?目　　录
推荐序一
推荐序二
前言
第1章　音视频基础概念 1
1.1　声音的物理性质 1
1.1.1　声音是波 1
1.1.2　声波的三要素 2
1.1.3　声音的传播介质 3
1.1.4　回声 3
1.1.5　共鸣 4
1.2　数字音频 4
1.3　音频编码 6
1.4　图像的物理现象 7
1.5　图像的数值表示 8
1.5.1　RGB表示方式 8
1.5.2　YUV表示方式 9
1.5.3　YUV和RGB的转化 10
1.6　视频的编码方式 10
1.6.1　视频编码 10
1.6.2　编码概念 11
1.7　本章小结 13
第2章　移动端环境搭建 14
2.1　在iOS上如何搭建一个基础项目 14
2.2　在Android上如何搭建一个基础项目 21
2.3　交叉编译的原理与实践 26
2.3.1　交叉编译的原理 26
2.3.2　iOS平台交叉编译的实践 27
2.3.3　Android平台交叉编译的实践 33
2.3.4　使用LAME编码MP3文件 38
2.4　本章小结 42
第3章　FFmpeg的介绍与使用 43
3.1　FFmpeg的编译与命令行工具的使用 43
3.1.1　FFmpeg的编译 43
3.1.2　FFmpeg命令行工具的使用 51
3.2　FFmpeg API的介绍与使用 60
3.3　FFmpeg源码结构 68
3.3.1　libavformat与libavcodec介绍 68
3.3.2　FFmpeg通用API分析 69
3.3.3　调用FFmpeg解码时用到的函数分析 70
3.3.4　调用FFmpeg编码时用到的函数分析 71
3.3.5　面向对象的C语言设计 72
3.4　本章小结 74
第4章　移动平台下的音视频渲染 75
4.1　AudioUnit介绍与实践 75
4.2　Android平台的音频渲染 84
4.2.1　AudioTrack的使用 85
4.2.2　OpenSL ES的使用 87
4.3　视频渲染 90
4.3.1　OpenGL ES介绍 90
4.3.2　OpenGL ES的实践 91
4.3.3　上下文环境搭建 98
4.3.4　OpenGL ES中的纹理 104
4.4　本章小结 109
第5章　实现一款视频播放器 110
5.1　架构设计 110
5.2　解码模块的实现 115
5.3　音频播放模块的实现 118
5.3.1　Android平台的音频渲染 118
5.3.2　iOS平台的音频渲染 119
5.4　画面播放模块的实现 121
5.4.1　Android平台的视频渲染 121
5.4.2　iOS平台的视频渲染 122
5.5　AVSync模块的实现 124
5.5.1　维护解码线程 124
5.5.2　音视频同步 125
5.6　中控系统串联起各个模块 127
5.6.1　初始化阶段 127
5.6.2　运行阶段 128
5.6.3　销毁阶段 129
5.7　本章小结 130
第6章　音视频的采集与编码 131
6.1　音频的采集 131
6.1.1　Android平台的音频采集 131
6.1.2　iOS平台的音频采集 134
6.2　视频画面的采集 137
6.2.1　Android平台的视频画面采集 137
6.2.2　iOS平台的视频画面采集 146
6.3　音频的编码 156
6.3.1　libfdk_aac编码AAC 156
6.3.2　Android平台的硬件编码器MediaCodec 158
6.3.3　iOS平台的硬件编码器AudioToolbox 161
6.4　视频画面的编码 166
6.4.1　libx264编码H264 166
6.4.2　Android平台的硬件编码器MediaCodec 172
6.4.3　iOS平台的硬件编码器 175
6.5　本章小结 184
第7章　实现一款视频录制应用 185
7.1　视频录制的架构设计 185
7.2　音频模块的实现 188
7.2.1　音频队列的实现 189
7.2.2　Android平台的实现 191
7.2.3　iOS平台的实现 194
7.3　音频编码模块的实现 198
7.3.1　改造编码器 198
7.3.2　编码器适配器 199
7.4　画面采集与编码模块的实现 202
7.4.1　视频队列的实现 202
7.4.2　Android平台画面编码后入队 203
7.4.3　iOS平台画面编码后入队 204
7.5　Mux模块 205
7.5.1　初始化 206
7.5.2　封装和输出 208
7.5.3　销毁资源 212
7.6　中控系统串联起各个模块 213
7.7　本章小结 214
第8章　音频效果器的介绍与实践 215
8.1　数字音频基础 215
8.1.1　波形图 215
8.1.2　频谱图 217
8.1.3　语谱图 219
8.1.4　深入理解时域与频域 219
8.2　数字音频处理：快速傅里叶变换 222
8.3　基本乐理知识 229
8.3.1　乐谱 229
8.3.2　音符的音高与十二平均律 231
8.3.3　音符的时值 233
8.3.4　节拍 233
8.3.5　MIDI格式 234
8.4　混音效果器 235
8.4.1　均衡效果器 236
8.4.2　压缩效果器 239
8.4.3　混响效果器 240
8.5　效果器实现 243
8.5.1　Android平台实现效果器 243
8.5.2　iOS平台实现效果器 252
8.6　本章小结 255
第9章　视频效果器的介绍与实践 256
9.1　图像处理的基本原理 256
9.1.1　亮度调节 257
9.1.2　对比度调节 258
9.1.3　饱和度调节 259
9.2　图像处理进阶 259
9.2.1　图像的卷积过程 260
9.2.2　锐化效果器 260
9.2.3　高斯模糊算法 262
9.2.4　双边滤波算法 263
9.2.5　图层混合介绍 264
9.3　使用FFmpeg内部的视频滤镜 266
9.3.1　FFmpeg视频滤镜介绍 266
9.3.2　滤镜图的构建 267
9.3.3　使用与销毁滤镜图 269
9.3.4　常用滤镜介绍 270
9.4　使用OpenGL ES实现视频滤镜 272
9.4.1　加水印 273
9.4.2　添