昇腾AI处理器CANN架构与编程

　　《昇腾AI处理器CANN架构与编程/华为智能计算技术丛书》专注昇腾AI处理器和昇腾AI异构计算架构CANN，《昇腾AI处理器CANN架构与编程/华为智能计算技术丛书》共7章。首章介绍昇腾AI处理器硬件架构。首先介绍昇腾AI处理器的达芬奇架构，为后续章节提供了计算单元、存储系统、控制单元、指令集等知识储备，然后介绍基于该架构分别面向训练和推理的昇腾AI处理器，最后介绍围绕昇腾AI处理器的Atlas系列硬件产品。第2章介绍昇腾AI异构计算架构CANN。涵盖CANN概述、昇腾计算图、训练和推理两种场景运行架构、开发环境安装及全流程开发和全流程开发工具链MindStudio等重要内容。第3章介绍CANN自定义算子开发，以示例的方式介绍TBEDSL、TBETIK和AICPU三种算子开发方式。第4章介绍昇腾计算语言。首先讲述AscendCL的编程模型，包括线程模型和内存模型，接着介绍AscendCL提供的五大开放能力，包括资源管理、模型加载与执行、算子能力开发和高级功能等。第5章介绍基于CANN的通用AI模型训练方法。以模型训练的全流程作为起始，对比了主流深度学习框架的异同，然后讲述基于CANN的模型训练方法和训练辅助工具的使用方法。第6章介绍基于CANN的模型部署方法。讲述模型部署全流程以及数字视觉预处理模块、模型转换工具、模型压缩工具的使用方法。第7章介绍两个典型行业应用实例。围绕个性化影视推荐系统和智能巡检机器人，提供全流程的完整开发实例。
　　《昇腾AI处理器CANN架构与编程/华为智能计算技术丛书》是昇腾AI处理器架构、昇腾AI异构计算架构与编程的官方教材，可以作为高校人工智能、智能科学与技术、计算机科学与技术、软件工程、电子信息工程、自动化等专业的教材，也可以作为从事人工智能系统开发的科研和工程技术人员的参考用书。

苏统华 博士、哈尔滨工业大学企业与服务智能计算研究中心副教授、软件学院副院长。主要研究方向为模式识别、深度学习、异构计算等。致力于自然手写体中文文本识别的研究与开拓，注重人工智能基础技术和工业应用商业化。曾建立手写中文库（HIT-MW库），先后被国内外200余家科研院所采用。自主研发大规模深度学习训练和预测平台，该平台已经成功应用到传统煤气表改造工程、中小学试卷全自动批改、手写输入法等商用领域。出版专著3本、译著9本。

杜鹏博士，华为海思昇腾CANN技术专家，主要研究方向为异构计算、计算机图形学、人工智能等。曾在韩国科学技术院、新加坡南洋理工大学、杭州电子科技大学从事科研与教学工作，在SIGGRAPH、PG等国际著名学术会议发表论文10余篇。

华为公司官方出品！华为技术有限公司2012实验室总裁何庭波作序！

2018年度的ACM（国际计算机协会）图灵奖授予深度学习领域三巨头（Yoshua Bengio、Yann LeCun、Geoffrey Hinton），是学术界与工业界对深度学习最大的认可。深度学习具有强大的学习能力，为人工智能技术插上了翅膀。各国相继把发展人工智能确立为国家战略。我国国务院于2017年7月8日重磅发布《新一代人工智能发展规划》，人工智能课程已经走入中小学课堂。人工智能将是未来全面支撑科技、经济、社会发展和信息安全的重要支柱！

深度学习已经在众多领域产生了深远影响，但它对算力的要求极高。华为公司应时而动，打造出基于达芬奇架构的昇腾AI

系列处理器，并进一步为全场景应用提供统一、协同的硬件和软件架构。其中，有面向云端提供强大训练算力的硬件产品（如昇腾910处理器），也有面向边缘端和移动端提供推理加速算力的硬件产品（如昇腾310处理器）。与硬件同样重要的是昇腾AI处理器的软件生态建设。华为公司针对达芬奇架构开发了自研的AI异构计算架构CANN，友好、丰富的软件生态会真正释放昇腾AI处理器的能量，助力我国新一代人工智能发展。

本书首先介绍华为公司自研的面向计算密集型人工智能应用研发的计算新架构（达芬奇架构）和基于该架构的两款分别面向训练和推理场景的昇腾AI处理器（昇腾310处理器和昇腾910处理器），以及围绕昇腾AI处理器的Atlas系列硬件产品，接着介绍针对该

自研硬件开发的软件栈——昇腾AI异构计算架构CANN及其上的开发接口，然后介绍如何利用CANN

上的深度学习框架MindSpore、TensorFlow、PyTorch训练模型，最后介绍如何利用CANN生成离线模型并进行模型部署，并以两个典型实例

——个性化影视推荐系统全流程开发实例和基于文字感知的智能巡检机器人全流程开发实例。

本书编写团队包括苏统华、杜鹏、周斌，还包括周明耀、周翔和由鸿铭，华为公司周明耀参与了第1章的编写，周翔和由鸿铭分别对第2~4章和第5~7章做出了重要贡献，在此对他们表示感谢！在本书的编写过程中得到清华大学出版社盛东亮主任及钟志芳编辑的专业指导，他们的编辑和审校工作明显提高了本书的质量，特别向他们致以敬意。本书的编写同时受到多个基金（重点研发计划课题2021YFF0900903新一代人工智能重大项目2020AAA0108004、国家自然科学基金项目61673140和81671771）的资助。

苏统华杜鹏周斌

2022年4月

引言00

第1章昇腾AI基础00

1.1人工智能与深度学习00

1.1.1人工智能简史00

1.1.2深度学习概述00

1.2达芬奇架构00

1.2.1计算单元00

1.2.2存储系统0

1.2.3控制单元0

1.2.4指令集设计0

1.2.5卷积加速计算实例0

1.3昇腾AI处理器0

1.3.1昇腾310处理器0

1.3.2昇腾910处理器0

1.4Atlas硬件计算平台0

1.4.1模组(Atlas 200)与开发者套件(Atlas 200DK)0

1.4.2Atlas 300板卡0

1.4.3Atlas 500智能小站0

1.4.4服务器(Atlas 800/Atlas 500 Pro)0

1.4.5Atlas 900 AI集群0

1.5本章小结0

第2章昇腾AI异构计算架构CANN0

2.1CANN概述0

2.2昇腾计算图0

2.3运行架构0

2.3.1训练场景运行架构0

2.3.2推理场景运行架构0

2.4开发环境安装0

2.5全流程开发0

2.5.1开发工具链0

2.5.2典型开发流程0

2.6全流程开发工具链MindStudio0

2.6.1MindStudio简介0

2.6.2模型开发0

2.6.3应用开发与调优0

2.6.4算子开发0

2.7本章小结0

昇腾AI处理器CANN架构与编程

目录

第3章CANN自定义算子开发0

3.1TBE开发概述0

3.1.1算子基本概念0

3.1.2TBE基本概念0

3.1.3TBE开发方式与流程0

3.2TBE DSL算子开发0

3.2.1开发环境准备0

3.2.2DSL的API接口0

3.2.3DSL算子开发示例0

3.2.4算子原型定义与算子信息定义0

3.2.5算子适配插件开发与算子编译及部署0

3.2.6算子单元测试0

3.2.7算子系统测试

3.3TBE TIK算子开发

3.3.1TIK的适用场景

3.3.2TIK算子开发示例

3.3.3算子的性能优化

3.4AI CPU算子开发

3.5本章小结

第4章昇腾计算语言

4.1AscendCL编程模型

4.1.1基本概念

4.1.2逻辑架构

4.1.3线程模型

4.1.4内存模型

4.2资源管理

4.2.1初始化管理

4.2.2Device管理

4.2.3Context管理

4.2.4Stream管理

4.2.5内存管理

4.3模型加载与执行

4.3.1模型加载

4.3.2模型执行

4.3.3设置动态Batch/动态分辨率/动态AIPP/动态维度

4.3.4准备模型执行的输入/输出数据结构

4.4算子功能开发

4.4.1算子功能开发典型流程

4.4.2封装成AscendCL的算子

4.4.3未被封装成AscendCL的算子

4.5辅助功能

4.5.1同步/异步

4.5.2AI Core异常信息获取

4.5.3日志管理

4.5.4Profiling性能数据采集

4.6高级功能

4.6.1图开发

4.6.2分布式开发

4.6.3融合规则开发

4.7本章小结

第5章CANN模型训练

5.1深度学习训练框架

5.1.1MindSpore

5.1.2TensorFlow

5.1.3PyTorch

5.1.4主流框架对比

5.2深度学习训练流程

5.2.1数据处理

5.2.2模型搭建与训练配置

5.2.3训练网络与保存模型

5.3CANN训练实例之MindSpore

5.3.1环境搭建

5.3.2ResNet50实现图像分类

5.3.3高阶技巧

5.4CANN训练框架之其他框架

5.4.1CANN与TensorFlow的适配原理

5.4.2使用TensorFlow训练ResNet50

5.4.3CANN与PyTorch的适配原理

5.4.4使用PyTorch训练ResNet50

5.5网络模型迁移和在线推理

5.5.1模型迁移和在线推理流程

5.5.2性能分析工具——Profiling

5.5.3算子自动调优工具——AutoTune

5.5.4精度分析工具——Data Dump

5.6本章小结

第6章CANN模型部署

6.1模型部署概述

6.1.1模型部署全流程

6.1.2调用AscendCL实现推理执行

6.2CANN的数字视觉预处理模块

6.2.1DVPP工作原理

6.2.2DVPP使用方法

6.3CANN的模型转换工具

6.3.1ATC工具工作原理

6.3.2ATC工具使用方法

6.3.3AIPP

6.3.4使用MindStudio完成模型转换

6.4CANN的昇腾模型压缩工具

6.4.1模型量化原理

6.4.2昇腾模型压缩工具简介

6.5CANN的模型部署实例

6.5.1TensorFlow模型推理——以ResNet50为例

6.5.2MindSpore模型推理——以Faster RCNN为例

6.5.3PyTorch模型推理——以Transformer为例

6.6本章小结

第7章行业应用实例

7.1个性化影视推荐系统全流程开发实例

7.1.1实例简介

7.1.2系统总体设计

7.1.3系统详细设计与实现

7.1.4实例系统部署

7.2基于文字感知的智能巡检机器人全流程开发实例

7.2.1实例简介

7.2.2系统总体设计

7.2.3系统详细设计与实现

7.2.4实例系统部署

7.3本章小结