移动终端人工智能技术与应用开发

本书适合那些对人工智能感兴趣，且具备一定移动终端应用程序开发经验的读者。如果您掌握一定的JAVA 、C++或Python语言开发知识，同时具备Android操作系统或IOS操作系统的应用的开发经验，将能迅速掌握基本的移动终端人工智能应用开发方法。如果您只是对人工智能技术感兴趣，相信本书也能带您了解人工智能技术是如何在移动终端上部署和运行的。

适读人群 ：移动终端AI应用开发者，大学相关专业的学生或AI应用技术爱好者。
1.本书是一本介绍移动终端人工智能应用开发和性能评测的工具书，包含了移动终端人工智能技术架构、神经网络模型、AI推理框架和深度学习编译器等内容，汇聚了多个主流供应商的移动终端AI技术框架和工具，通过应用实例系统地阐述了移动终端AI应用的开发、调试，以及AI应用性能的专业评测方法。对于移动终端AI应用开发者和爱好者是一本不错的入门指南；
2.读者可从机械工业出版社华章分社图书网站下载书中实例源代码：http://www.hzbook.com。

从2017年开始，人工智能（Artificial Intelligence，AI）技术已经不再是前沿科技或实验室中的概念产物，而是实实在在落地为产品出现在人们的日常生活中，为用户提供智慧化的服务。现在我们每天接触的智能手机和平板电脑等移动终端设备也越来越多地被冠以AI终端的名头，而且出现了越来越多的AI应用或服务。目前这些在移动终端上运行的AI应用主要使用基于神经网络的深度学习技术。这项技术需要大量的算力支持，所以在发展初期主要在云端实现，通过移动互联网为用户提供服务。但随着终端软硬件技术的不断发展，业界越来越重视在移动终端上直接运行神经网络，以此获得更快的响应速度和更高的安全性。为此，各互联网厂商、终端厂商和芯片厂商陆续推出了各种深度学习推理框架，用于在移动终端设备上通过设备的AI芯片运行人工智能推理任务，比如Google公司的TensorFlow Lite、华为公司的HiAI Foundation、高通公司的SNPE等。未来，在终端上部署的人工智能技术将随着这些推理框架和AI芯片的不断发展，为移动终端AI应用和服务加速。本书围绕着如何在移动智能终端上通过深度学习推理框架进行人工智能应用开发而展开，不仅向读者介绍相关概念和原理，还提供应用开发的入门级指导，相信读者能够通过自己动手实现移动端人工智能应用来加深对移动终端人工智能技术的理解。
本书适合对人工智能感兴趣，且具备一定移动终端应用程序开发经验的读者阅读。只要拥有一定的Java、C++或Python语言开发知识，同时具备Android操作系统或iOS操作系统的应用开发经验，就可以通过本书迅速掌握基本的移动终端人工智能应用开发方法。如果你只是对人工智能技术感兴趣，相信本书也能带你了解人工智能技术是如何在移动终端上部署和运行的。
本书共分为10章，第1章主要介绍移动终端人工智能技术应用的现状和发展态势，对深度学习与软件框架等相关基础知识进行了阐述，分析了移动终端推理应用的发展趋势；第2章从总体上介绍移动终端AI技术架构，包括移动终端人工智能技术的特点和架构全貌，从而让读者初步了解移动终端人工智能技术的原理和各要素组件。第3～5章详细剖析移动终端人工智能技术的分层架构，分别介绍了神经网络模型、移动终端推理框架以及深度学习编译器等内容，让读者理解移动终端人工智能技术的底层逻辑，掌握在移动终端进行人工智能推理的方法；第6～8章介绍如何开发移动终端AI推理应用，帮助读者从需求分析、功能设计、编码开发到调试优化等环节了解整个开发过程；第9章则通过移动终端AI基准（Benchmark）性能测试的介绍，让读者了解不同移动终端和终端推理框架的性能区别；第10章面向未来，向读者介绍移动终端人工智能技术最新的发展情况和未来趋势，包括移动终端的训练和联邦学习等前沿技术，并对其他人工智能终端产品进行了简要介绍。本书还给出了第7章中每个示例的完整代码，读者需要扫描封底二维码下载包含代码文件的压缩包，并根据附录提供的路径找到相关代码文件。这些代码可以为读者开发应用提供参考。
在编撰本书的过程中得到了业界多方支持，在此表示感谢：感谢华为公司、旷视科技公司、vivo公司和百度公司分别为本书HiAI Foundation、旷视天元（MegEngine）、VCAP和Paddle Lite部分的编写提供技术资料，感谢高通公司对本书编写提出宝贵意见。此外，我们还得到了魏然、曹宇琼、戈志勇、国炜、周佳琳等专家和老师的帮助，在此一并感谢。
虽然本书的编写历经一年，但我们仍然略感仓促。我们尽可能提供最新版本的资料给读者，但是移动终端人工智能技术发展迅速，在编写过程中就出现了多次软件版本升级的情况，所以对于本书的部分内容，尤其是第4章和第7章关于技术和开发的部分，读者可以通过本书提供的网址在互联网上参考官方新版操作手册以了解最新的技术进展。我们希望读者能通过本书基本掌握移动终端人工智能技术的原理和方法。对于本书中未阐明的部分或错漏之处，读者也可以通过邮件[email protected]进行反馈，不胜感激！

前言
第1章　移动终端人工智能技术概述1
1.1　人工智能技术发展概况1
1.1.1　人工智能技术的发展历程1
1.1.2　数据和算法成为主要驱动力3
1.1.3　人工智能技术的应用趋势6
1.2　机器学习与软件框架技术概述8
1.2.1　机器学习8
1.2.2　深度学习10
1.2.3　深度学习为多个应用技术领域
　带来突破11
1.2.4　自动化机器学习12
1.2.5　算法与模型14
1.2.6　训练与推理16
1.2.7　深度学习框架18
1.3　移动终端人工智能应用22
1.3.1　AI移动终端快速发展22
1.3.2　移动终端的典型AI应用24
1.3.3　移动终端的AI推理26
1.4　小结28
参考文献28
第2章　移动终端人工智能技术架构30
2.1　移动终端人工智能技术的特点和
　分层架构30
2.2　各层功能概述32
2.2.1　应用层32
2.2.2　框架层32
2.2.3　驱动层35
2.2.4　硬件层36
2.3　小结42
参考文献42
第3章　神经网络模型44
3.1　神经网络模型概述44
3.1.1　神经网络算法44
3.1.2　神经网络模型的构成46
3.1.3　获取移动终端神经网络
　模型48
3.2　典型神经网络模型介绍54
3.2.1　图像分类54
3.2.2　目标检测63
3.2.3　图像分割66
3.2.4　其他神经网络模型简介74
3.3　小结77
参考文献78
第4章　移动终端推理框架79
4.1　推理框架的工作原理79
4.1.1　神经网络模型转换原理79
4.1.2　深度学习编译器执行原理84
4.2　推理框架的工作流程86
4.2.1　模型转换86
4.2.2　数据预处理86
4.2.3　执行推理86
4.2.4　结果输出87
4.3　主要移动终端推理框架介绍87
4.3.1　TensorFlow Lite88
4.3.2　PyTorch Mobile97
4.3.3　Paddle Lite 102
4.3.4　VCAP 109
4.3.5　高通SNPE116
4.3.6　华为HiAI Foundation126
4.3.7　旷视天元154
4.3.8　苹果Core ML框架166
4.3.9　其他深度学习推理框架170
4.4　小结178
参考文献178
第5章　深度学习编译器180
5.1　深度学习编译器的概念180
5.1.1　传统编译器180
5.1.2　移动端深度学习编译器182
5.2　主流编译器介绍184
5.2.1　Android神经网络接口
　NN API184
5.2.2　高通SNPE编译技术187
5.2.3　华为HiAI Foundation编译
　技术192
5.2.4　百度Paddle Lite编译技术194
5.2.5　其他深度学习编译器195
5.2.6　不同深度学习编译器的
　差异196
5.3　小结197
第6章　移动终端AI推理应用开发
　过程198
6.1　总体开发过程198
6.2　需求阶段199
6.3　设计阶段200
6.4　编码开发阶段202
6.5　调试阶段202
6.5.1　功能调试203
6.5.2　性能调试204
6.6　小结205
第7章　移动终端推理应用开发
　实例206
7.1　基于TensorFlow Lite框架的
　图像分类应用206
7.1.1　创建工程206
7.1.2　模型转换211
7.1.3　模型推理211
7.1.4　结果展示213
7.2　基于PyTorch Mobile框架的应用
　实例214
7.2.1　创建工程214
7.2.2　模型转换215
7.2.3　模型推理216
7.2.4　结果展示217
7.3　基于Paddle Lite引擎的应用
　实例218
7.3.1　创建工程218
7.3.2　模型转换220
7.3.3　模型推理220
7.3.4　结果展示225
7.4　基于vivo VCAP引擎的应用
　实例225
7.4.1　创建工程225
7.4.2　模型转换228
7.4.3　模型推理229
7.4.4　结果展示232
7.5　基于高通SNPE引擎的图片分类
　应用 232
7.5.1　创建工程233
7.5.2　模型转换235
7.5.3　模型推理236
7.5.4　结果展示238
7.6　基于华为HiAI Foundation的图片
　分类应用239
7.6.1　创建工程239
7.6.2　模型转换243
7.6.3　模型推理244
7.6.4　结果展示249
7.7　基于苹果Core ML引擎的应用
　实例249
7.7.1　创建工程250
7.7.2　模型转换252
7.7.3　模型推理253
7.7.4　结果展示255
7.8　基于旷视天元的应用实例255
7.8.1　创建工程255
7.8.2　模型转换258
7.8.3　模型推理259
7.8.4　结果展示262
7.9　基于MNN引擎的应用实例263
7.9.1　创建工程263
7.9.2　模型转换265
7.9.3　模型推理265
7.9.4　结果展示271
7.10　小结272
第8章　AI应用性能调试273
8.1　AI应用性能调试方法273
8.2　AI应用性能测试负载275
8.3　AI应用性能评价指标278
8.3.1　模型类指标278
8.3.2　通用指标和硬件性能指标282
8.4　AI应用推理性能差异283
8.5　AI应用性能优化284
8.6　小结285
第9章　移动终端的AI推理性能
　评价286
9.1　不同移动终端间的AI性能基准
　测试286
9.2　AI基准测试应用介绍288
9.3　小结293
第10章　移动终端AI技术发展
　趋势294
10.1　技术发展趋势294
10.1.1　移动终端的AI训练294
10.1.2　移动终端的联邦学习300
10.2　产品发展趋势307
10.2.1　智能语音终端307
10.2.2　自然语言处理终端 308
10.2.3　智能机器人产品309
10.2.4　智能无人机310
10.2.5　智能家居产品311
10.2.6　智能医疗产品 311
10.2.7　智能安防产品 312
10.2.8　智能交通产品 313
参考文献314
附录一　移动终端推理应用开发
　示例315
附录A　TensorFlow Lite示例代码315
附录B　PyTorch示例代码315
附录C　Paddle Lite示例代码316
附录D　VCAP示例代码