WebRTC Native 开发实战

本书是WebRTC方面的专著，WebRTC是一项实时通信领域革命性的技术，在实时音视频通信领域已经产生了深远的影响。本书涵盖了Native端WebRTC SDK基本场景的使用、基本场景下完整流程的源码导读，还介绍了一些高级的功能和场景，比如多人通话、屏幕共享、H.265、美颜、伴奏、本地录制等，最后还对Server端展开了一些讨论。本书通过细致的代码分析和源码导读，来讲解WebRTC Native的具体实战，分析WebRTC内部主要的数据流程，力图使读者能够通过实际操作快速入门和理解WebRTC Native的开发技巧。

许建林，网名Piasy，毕业于清华大学计算机系，毕业后创业，参与从零到一打造社交直播 APP YOLO 的全过程。目前就职于 PowerInfo（北京世纪鼎点软件有限公司），从事高稳定低延时音视频实时传输技术的研发工作，对实时音视频领域有着深入的研究。开源爱好者，GitHub 近两千关注者，开源了数个上千标星的项目。技术分享者，曾在北京 GDG Meetup、DroidCon Beijing 进行技术分享，是WebRTC Native 源码导读系列博客作者。

近年来，WebRTC技术的使用越来越广泛，引起了众多开发者以及各大公司的关注。目前市面上关于WebRTC的书籍大多都是关注Web端的，对Native端（Android 、iOS、macOS、Windows、Linux）的涉猎非常少。此外，还没有任何图书对WebRTC内部的技术实现进行分析，本书试图弥补这一空白。

本书是编者在WebRTC学习、WebRTC Native实际使用过程中的心得体会和系统总结，内容涵盖了Native端WebRTC SDK基本场景的使用、基本场景下完整流程的源码导读，还有一些高级的功能和

场景，比如多人通话、屏幕共享、H.265、美颜、伴奏、本地录制等，最后还对Server端展开了一些讨论。

书中利用大量细致的代码分析和源码导读来讲解WebRTC Native的具体实战，分析WebRTC内部主要的数据流程，力图使读者能够通过实际操作快速入门和理解WebRTC Native的开发技巧。

前 言

提到WebRTC，大家首先想到的可能是Web开发，虽然WebRTC首先发力于Web端，但WebRTC在Native端的应用场景也不容小觑，毕竟Native App的效率依然远超H5。

目前市面上关于WebRTC的书籍大多都是关注Web端的，对Native端（Android、iOS、macOS、Windows、Linux）的涉猎非常少，目前只有WebRTC Blueprints一书最后讲了一下Android和iOS平台的编译、运行，但这本书已经是2014年的书了。此外，还没有任何图书对WebRTC内部的技术实现进行分析。

本书的目的是引导想使用WebRTC Native的开发者进行入门学习，让读者通过本书的学习能够掌握WebRTC Native开发的基本流程，掌握WebRTC内部的主要数据流程，掌握对WebRTC进行调试分析、二次开发的能力。

本书的特点是示例代码丰富，实用性和系统性较强，适合WebRTC Native入门开发者阅读。此外，本书还包含WebRTC内部的主要数据流程，会对WebRTC的内部实现原理进行剖析。

本书首先会介绍Native端WebRTC SDK基本场景的使用，接着对基本场景的主要数据流程进行源码导读，之后会讨论一些高级的功能和场景，最后对Server端展开讨论。

笔者使用的真机开发环境为macOS 10.15.3(19D76)、Xcode 11.3.1(11C504)、Android Studio 3.5.3，虚拟机环境为Parallels Desktop Windows 10和Ubuntu 18.04.3。

本书所涉及的WebRTC示例代码以及源码分析内容都是基于WebRTC的#30432提交，即通过https://webrtc.googlesource.com/src.git/+/be99ee8f17f93e06c81e3deb4897dfa8253d3211/提交。OWT Server的代码都是基于4.3.x分支的。

本书所有源码开源在 GitHub 上（https://github.com/HackWebRTC/webrtc），读者也可以扫描下方的二维码获取：

如果你在下载过程中遇到问题，可发送邮件至[email protected]获得帮助，邮件标题为“WebRTC Native开发实战”。

另外，欢迎读者加入本书专属社群：Hack WebRTC星球。对本书的任何疑问或者想法，以及WebRTC Native开发相关的话题，都可以在星球里提问、讨论，详情请访问：

https://blog.piasy.com/webrtc/index.html

许建林

2020年5月

目 录

第1章 开发环境搭建 1

1.1 WebRTC简介 1

1.2 iOS/macOS编译环境 2

1.3 Android/Linux编译环境 3

1.4 Windows编译环境 3

1.5 更新WebRTC编译环境 4

1.6 macOS上的Android编译环境 4

第2章 运行官方Demo 6

2.1 官方Demo简介 6

2.2 部署AppRTC Server 6

2.3 运行iOS AppRTCMobile 7

2.4 运行macOS AppRTCMobile 13

2.5 运行Android AppRTCMobile 17

2.6 iOS/macOS/Android AppRTCMobile互通测试 19

2.7 Android C++代码单步调试 20

2.8 部署PeerConnection Server 23

2.9 运行Windows PeerConnection Client 23

2.10 运行Linux PeerConnection Client 25

第3章 基本流程分析 26

3.1 拓扑结构 26

3.2 通话过程 27

3.2.1 PeerConnection 28

3.2.2 Offer、Answer和SDP 28

3.2.3 ICE 28

3.2.4 STUN 28

3.2.5 TURN 29

3.2.6 ICE Candidate 29

3.3 核心API和Demo代码位置 30

3.3.1 全局初始化 30

3.3.2 PeerConnectionFactory 31

3.3.3 创建PeerConnection 33

3.3.4 创建Source和Track 34

3.3.5 创建Offer 37

3.3.6 创建Answer 39

3.3.7 ICE Candidate回调和设置 41

3.3.8 ICE连接状态回调 42

3.3.9 核心API回顾 43

3.4 SDP初探 44

第4章 编译工具介绍 46

4.1 Ninja 46

4.2 GN 46

4.3 系统宏定义 48

4.4 添加源码目录和预编译依赖库 50

第5章 SDP详解 54

5.1 Plan B v.s. Unified Plan 54

5.2 Transceiver 54

5.3 SDP详解 57

5.3.1 session metadata 57

5.3.2 video media section 57

5.3.3 audio media section 60

5.3.4 application media section 61

5.4 操纵SDP 62

第6章 线程模型 63

6.1 三大线程的使用 63

6.1.1 对外接口的线程切换 63

6.1.2 内部代码的线程切换 65

6.2 三大线程的创建 66

6.2.1 iOS/macOS创建PC Factory 68

6.2.2 Android创建PC Factory 69

6.2.3 Windows/Linux创建PC Factory 70

第7章 视频数据流程 72

7.1 视频数据流程概览 72

7.2 视频采集 73

7.2.1 iOS/macOS视频采集 73

7.2.2 Android视频采集 79

7.2.3 Windows/Linux视频采集 85

7.3 视频渲染 87

7.3.1 iOS/macOS视频渲染 87

7.3.2 Android视频渲染 91

7.3.3 Windows/Linux视频渲染 92

7.4 视频编解码 92

7.4.1 iOS/macOS视频编码 94

7.4.2 iOS/macOS视频解码 100

7.4.3 Android视频编码 104

7.4.4 Android视频解码 113

7.4.5 Windows/Linux视频编码 120

7.4.6 Windows/Linux视频解码 125

7.4.7 编码流控测试 125

7.5 视频数据流程调用栈 130

第8章 音频数据流程 134

8.1 音频数据流程概览 134

8.2 音频采集和播放 135

8.2.1 iOS音频采集和播放 135

8.2.2 Android音频采集和播放 143

8.2.3 macOS音频采集和播放 153

8.2.4 Windows音频采集和播放 154

8.2.5 Linux音频采集和播放 154

8.3 音频设备模块ADM 155

8.3.1 iOS ADM 155

8.3.2 Android ADM 156

8.3.3 macOS ADM 156

8.3.4 Windows ADM 156

8.3.5 Linux ADM 157

8.3.6 声音路由 157

8.4 音频编解码模块ACM 158

8.4.1 音频编码 159

8.4.2 音频解码 160

8.5 音频数据流程调用栈 162

第9章 DataChannel 167

9.1 概览 167

9.2 iOS DataChannel 167

9.2.1 创建DataChannel 167

9.2.2 SDP 168

9.2.3 发送消息 169

9.2.4 接收消息 169

9.3 Android DataChannel 170

9.3.1 创建DataChannel 170

9.3.2 SDP 170

9.3.3 发送消息 170

9.3.4 接收消息 171

9.4 RTCQuicTransport 171

第10章 纯音/视频 172

10.1 概览 172

10.2 AudioTrack的禁用与启用 173

10.3 VideoTrack的禁用与启用 173

10.4 HijackCapturerObserver 174

10.4.1 iOS的实现 174

10.4.2 Android的实现 176

10.5 track状态的通知 177

10.6 录制相关 177

第11章 多人通话 178

11.1 概览 178

11.1.1 P2P网状结构 178

11.1.2 SFU结构 179

11.1.3 MCU结构 180

11.2 客户端代码实现 180

第12章 日志和状态统计 183

12.1 概览 183

12.2 iOS集成Mars XLog 185

12.3 Android集成Mars XLog 187

12.4 RTCStatsReport 189

12.4.1 AccumulatedValueSplitter 190

12.4.2 RtcStats选择函数 193

12.4.3 连接状态解析 194

12.4.4 视频发送状态解析 199

12.4.5 音频发送状态解析 205

12.4.6 视频接收状态解析 207

12.4.7 音频接收状态解析 209

第13章 屏幕共享 211

13.1 概览 211

13.2 iOS屏幕共享 211

13.2.1 CFRPCapturer的实现 212

13.2.2 CFRPCapturer的使用 214

13.2.3 修改RTCVideoSource 214

13.3 Android屏幕共享 215

13.3.1 ScreenCapturerAndroid的实现 215

13.3.2 ScreenCapturerAndroid的使用 217

第14章 H.265 支持 219

14.1 概览 220

14.2 SDP 220

14.3 编解码 222

14.3.1 iOS修改编码代码 222

14.3.2 iOS修改解码代码 224

14.3.3 Android修改编码代码 226

14.3.4 Android修改编码代码 227

14.4 RTP封包解包 227

第15章 美颜 228

15.1 Android美颜处理器 228

15.2 iOS美颜处理器 231

第16章 伴奏 234

16.1 概览 234

16.2 解码音频数据 235

16.2.1 初始化 235

16.2.2 音频解码 236

16.2.3 重采样 239

16.2.4 销毁 240

16.3 播放非接收的音频数据 240

16.4 伴奏混音发送 243

16.5 其他控制和调节功能 246

第17章 本地录制 247

17.1 概览 247

17.2 添加接口 248

17.3 获取数据 249

17.4 FFmpeg调用 252

17.5 视频关键帧 257

17.6 视频方向 258

17.7 纯音/视频录制 258

第18章 项目外使用WebRTC 260

18.1 概览 260

18.2 摘取源码 260

18.3 使用整体静态库 264

18.3.1 std::__1 的来源 264

18.3.2 修改WebRTC编译配置 266

18.3.3 提取头文件 267

18.4 使用子模块静态库 267

第19章 信令 269

19.1 AppRTC Server信令协议 269

19.1.1 HTTP POST加入房间 270

19.1.2 HTTP GET获取ICE服务器配置 271

19.1.3 长连接注册 271

19.1.4 HTTP POST发送消息 272

19.1.5 长连接发送消息 272

19.1.6 离开房间 273

19.1.7 同时加入 274

19.1.8 Offer/Answer和ICE Candidate顺序 274

19.2 OWT Server信令协议 274

19.2.1 OWT Server架构 274

19.2.2 OWT信令协议 276

19.2.3 HTTP POST创建token 276

19.2.4 SocketIO登录 278

19.2.5 SocketIO发布流 280

19.2.6 SocketIO发送Offer和ICE Candidate 280

19.2.7 SocketIO接收Answer 281

19.2.8 SocketIO订阅流 282

19.2.9 SocketIO接收其他用户的通知 282

19.2.10 SocketIO退出登录 283

19.2.11 Offer和ICE Candidate顺序 283

19.2.12 错误重连 284

19.2.13 HTTP GET用户和流列表 284

19.3 P2P网状结构信令协议 285

19.3.1 HTTP POST加入房间 286

19.3.2 长连接注册 287

19.3.3 WebSocket接收其他用户的通知 287

19.3.4 长连接发送Offer/Answer和ICE Candidate 288

19.3.5 离开房间 289

19.3.6 错误重连 289

19.3.7 Offer/Answer和ICE Candidate顺序 290

第20章 NAT穿透 291

20.1 NAT穿透原理 291

20.2 coturn的基本使用 295

第21章 OWT Server SFU数据流程 299

21.1 进程结构和JavaScript代码处理流程 299

21.1.1 进程结构 299

21.1.2 Management API 300

21.1.3 WebRTC Portal 300

21.1.4 Conference Agent 301

21.1.5 WebRTC Agent 302

21.1.6 WebRTC Agent node间的流扩散 303

21.1.7 Cluster Manager 304

21.1.8 完整过程总结 306

21.2 C++代码处理流程 307

21.2.1 WebRTC信令处理 308

21.2.2 WebRTC媒体数据处理 309

21.2.3 流扩散处理 311

第22章 OWT Server MCU数据流程 314

22.1 JavaScript代码处理流程 314

22.1.1 Conference Agent 314

22.1.2 Audio Agent 316

22.1.3 Video Agent 316

22.1.4 转码处理 317

22.2 C++代码处理流程 317

22.2.1 AudioMixer 317

22.2.2 VideoMixer 318

22.2.3 VideoTranscoder 320

后记 321