AI安全：技术与实战

● 本书首先介绍AI与AI安全的发展起源、世界主要经济体的AI发展战略规划，给出AI安全技术发展脉络和框架，并从AI安全实战出发，重点围绕对抗样本、数据投毒、模型后门等攻击技术进行案例剖析和技术讲解；然后对预训练模型中的风险和防御、AI数据隐私窃取攻击技术、AI应用失控的风险和防御进行详细分析，并佐以实战案例和数据；最后对AI安全的未来发展进行展望，探讨AI安全的风险、机遇、发展理念和产业构想。

● 本书适合AI和AI安全领域的研究人员、管理人员，以及需要实战案例辅助学习的广大爱好者阅读。

腾讯安全朱雀实验室专注于AI安全技术研究及应用，围绕对抗机器学习、AI模型安全、深伪检测等方面取得了一系列研究成果，议题入选CVPR、ICLR、CanSecWest、HITB、POC、XCon等国内外顶级会议，面向行业发布了业内第一个AI安全威胁风险矩阵，持续聚焦AI在产业应用的安全问题，助力AI安全技术创新。

● 国内首部揭秘AI安全前沿技术图书，【腾讯安全朱雀实验室】首著。

● 前沿【攻击方法和原理】分析，原汁原味【实战案例】呈现。

● 全书涵盖6大主题14个实战案例，包括对抗样本攻击、数据投毒攻击、模型后门攻击、预训练模型安全、AI数据隐私窃取、AI应用失控风险等。

● 附赠全书实战代码，作者在线答疑等增值服务。

● 全彩极致印刷，最佳视觉体验。

●序●

如果说，早期人们对AI技术的能力还抱有些许质疑的话，那么2016年Google公司AlphaGo的横空出世，则让普罗大众对AI技术的看法有了耳目一新的变化，越来越多的AI技术被应用到各行各业中，带来商业繁荣的同时也带来了人们更多的担忧。

在AI技术的加持之下，我们的生活在不知不觉中不断发生着“从量变到质变”的迭代。我们通过AI技术赋能的内容平台可以更深入地了解世界和自己，同时也承担着“信息茧房”之伤害。我们通过AI技术赋能的商业平台获得更多的便捷性，同时也被“大数据杀熟”等副作用包围。

我们被AI“计算”，同时也被AI“算计”。

随着AI技术在各类商业、业务模式中的广泛应用，身为安全从业者的我们不得不对这一古老而又新鲜的技术模式加以重视。到底AI技术会给安全行业带来哪些“巨变”？

多年以前，我和我的团队在安全工作中遇到过一个特殊的黑产团伙，该团伙让我们“青睐有加”的原因在于，其在相关的攻防场景里，用了当时颇为流行的Caffe深度学习框架和卷积神经网络，这使得他们同其他竞争者相比攻击效率有了数倍的提升。

尽管这个黑产团伙后来被及时打掉，但这也让我们意识到一个事实——在未来的日子里，AI技术必将是安全战场攻防两端的兵家必争之地。

从那时候起，我的团队就开始在AI安全方面做大量细致、深入的探索研究工作，我们的尝试和实践主要覆盖以下几个方面。

（1）AI技术本身的安全性。

（2）AI技术为攻击提效。

（3）AI技术为防守助力。

（4）AI技术之以攻促防，攻防联动。

我们走过一些弯路，也有过一些收获。我们参考了很多前辈和行业专家的经验成果，也分享过一些小小的发现。而正是在这个探索过程中，我们意识到，前辈们的探索经验和研究成果，为我们所进行的安全研究工作带来了诸多的便捷性。

所以，本着继承和发扬前辈们的开放、协作和共享精神，我们也将工作中的点滴进行了总结与归纳，把研究历程中的一些经验沉淀下来形成本书。

本书的重点将锚定在AI安全发展的通用技术上，包括对抗样本攻击、数据投毒攻击、模型后门攻击、预训练模型中的风险与防御、AI数据隐私窃取攻击，以及AI 应用失控等方面。本书对各类攻击方法及其技术原理进行了分析，并详细介绍了基于不同算法和数据实验的实现过程和案例总结，基本保持了原汁原味，以便志同道合的读者朋友们进行参考，这也算是我和我的团队为AI安全工作尽的一些绵薄之力。

我们深知，一方面，安全和技术的发展都日新月异、持续更新和迭代，本书中一些内容和知识点随着时间的推移都会逐渐过时、落伍，所以我们也会继续不断探索、保持更新。另一方面，也希望通过我们的管中窥豹来“抛砖引玉“，通过本书结识更多志同道合的朋友。

我始终相信，科技的力量会让人类文明更加美好，虽“道阻且长”，但“行则将至，行而不辍，未来可期”。我和团队的小伙伴们会继续努力，也欢迎有兴趣的读者朋友们一起探讨、共同研究，携手体验AI安全探索的奇妙之旅。

——杨勇 腾讯安全平台部负责人

●前言●

腾讯安全朱雀实验室于2019年开始着手AI安全的研究工作，涉及对抗样本攻击、模型安全、AI应用失控等多个领域。在技术研究和实践过程中，我们走过许多弯路，也尝过成功的喜悦，这在一定程度上凝结成了此书的大部分内容，特与读者分享。

回顾最初的探索，我们是从对抗样本开始的，在多个场景中实现通过轻微篡改来欺骗AI 模型，并尝试将技术成果在腾讯业务场景中找到落脚点。然而，在实践过程中，多次实验表明对抗样本的迁移性有限，即基于A模型生成的对抗样本很难在B模型上发挥作用。2019年年底，我们转而研究如何生成迁移性更好的对抗样本，并在一些学术会议和安全会议上分享了我们的研究成果及经验，如ECCV、CanSecWest等。和大多数AI 研究遇到的问题一样，实验室的研究成果在产业落地上往往力不从心。

2020年以来，朱雀实验室在相关技术积累的基础上，拓宽AI 安全研究领域，涉及模型安全、AI滥用、AI伦理等，同时构建和完善AI安全蓝图，进一步探索技术的应用落地。

在模型安全研究方面，我们分别在XCon 2020、ICLR 2021（ Security Workshop）、CVPR 2022等安全/AI领域会议上分享非数据投毒式的模型后门攻击研究成果，验证了攻击在掌握少量模型信息的情况下，通过对网络参数的精准修改重建出模型后门的可能性，这进一步揭示了算法模型的脆弱性。

在AI应用失控方面，我们围绕深度伪造带来的潜在安全风险问题，一方面，从攻击的角度出发，去揭露一些安全风险问题；另一方面，从防御的角度出发，去落地一些用于深度伪造检测的工具，并连续两年在安全会议上分享工作成果。除此之外，我们在语音攻击、文本攻击等不同的领域也做了大量的实验工作。

在同AI算法打交道的过程中，我们发现，现阶段基于深度学习的系统是较容易遭到对抗样本攻击的。一方面，业务侧以功能需求为第一要务，安全防御方面的工作相对滞后，通常在出现攻击案例后才会进行分析和调整，而且这种修补过程并不像传统网络安全漏洞修补的过程，需要不断调整训练数据和优化训练过程，实施过程的成本较高；另一方面，AI算法的建立过程并没有引入安全环节把控，理论上攻击方法非常丰富，即使AI系统仅提供API级别的交互服务，攻击者也可以通过模型窃取攻击方式来拟合线上模型决策结果，建立一个本地的白盒模型，再在白盒模型的基础上进行迁移攻击，进而影响线上模型。

总体来看，当前阶段攻击方法走在了防御方法的前面，我们可以通过总结各种攻击方法来寻找有效的防御手段，同时可以把网络安全领域的防御思想加到AI系统的建设上来，在系统的研发过程中引入SDL规范，如增加敏感数据检测、适当进行对抗样本训练、进行软件层面的库和框架及时更新等。

AI安全是一项新技术，在多个层面都需要考虑安全问题。本书第1章是对AI安全发展的概要性介绍；第2～3章从数据层面讨论对抗样本、数据样本的安全问题；第4～5章从模型层面讨论模型后门和预训练模型的安全问题；第6～7章从应用角度讨论隐私窃取和应用失控问题。同时，在阐述过程中我们精选多个实战案例，力求把数据、算法、模型、应用等层面的安全问题向读者展示出来。

AI安全的发展在未来势必会迎来更加严峻的挑战，我们将自己的研究成果在本书中进行分享，敬请读者批评指正。希望能借此书，与同行共同推动AI安全的发展和进步。最后衷心感谢电子工业出版社所给予的支持。感谢付出了大量时间和精力完成本书的同事，他们是杨勇、朱季峰、唐梦云、徐京徽、宋军帅、李兆达、骆克云。

——腾讯安全朱雀实验室

●第1章 AI安全发展概述●

1.1 AI与安全衍生

1.1.1 AI发展图谱

1.1.2 各国AI发展战略

1.1.3 AI行业标准

1.1.4 AI安全的衍生本质——科林格里奇困境

1.2 AI安全技术发展脉络

●第2章 对抗样本攻击●

2.1 对抗样本攻击的基本原理

2.1.1 形式化定义与理解

2.1.2 对抗样本攻击的分类

2.1.3 对抗样本攻击的常见衡量指标

2.2 对抗样本攻击技巧与攻击思路

2.2.1 白盒攻击算法

2.2.2 黑盒攻击算法

2.3 实战案例：语音、图像、文本识别引擎绕过

2.3.1 语音识别引擎绕过

2.3.2 图像识别引擎绕过

2.3.3 文本识别引擎绕过

2.4 实战案例：物理世界中的对抗样本攻击

2.4.1 目标检测原理

2.4.2 目标检测攻击原理

2.4.3 目标检测攻击实现

2.4.4 攻击效果展示

2.5 案例总结

●第3章 数据投毒攻击●

3.1 数据投毒攻击概念

3.2 数据投毒攻击的基本原理

3.2.1 形式化定义与理解

3.2.2 数据投毒攻击的范围与思路

3.3 数据投毒攻击技术发展

3.3.1 传统数据投毒攻击介绍

3.3.2 数据投毒攻击约束

3.3.3 数据投毒攻击效率优化

3.3.4 数据投毒攻击迁移能力提升

3.4 实战案例：利用数据投毒攻击图像分类模型

3.4.1 案例背景

3.4.2 深度图像分类模型

3.4.3 数据投毒攻击图像分类模型

3.4.4 实验结果

3.5 实战案例：利用投毒日志躲避异常检测系统

3.5.1 案例背景

3.5.2 RNN异常检测系统

3.5.3 投毒方法介绍

3.5.4 实验结果

3.6 案例总结

●第4章 模型后门攻击●

4.1 模型后门概念

4.2 后门攻击种类与原理

4.2.1 投毒式后门攻击

4.2.2 非投毒式后门攻击

4.2.3 其他数据类型的后门攻击

4.3 实战案例：基于数据投毒的模型后门攻击

4.3.1 案例背景

4.3.2 后门攻击案例

4.4 实战案例：供应链攻击

4.4.1 案例背景

4.4.2 解析APK

4.4.3 后门模型训练

4.5 实战案例：基于模型文件神经元修改的模型后门攻击

4.5.1 案例背景

4.5.2 模型文件神经元修改

4.5.3 触发器优化

4.6 案例总结

●第5章 预训练模型安全●

5.1 预训练范式介绍

5.1.1 预训练模型的发展历程

5.1.2 预训练模型的基本原理

5.2 典型风险分析和防御措施

5.2.1 数据风险

5.2.2 敏感内容生成风险

5.2.3 供应链风险

5.2.4 防御策略

5.3 实战案例：隐私数据泄露

5.3.1 实验概况

5.3.2 实验细节

5.3.3 结果分析

5.4 实战案例：敏感内容生成

5.4.1 实验概况

5.4.2 实验细节

5.4.3 结果分析

5.5 实战案例：基于自诊断和自去偏的防御

5.5.1 实验概况

5.5.2 实验细节

5.5.3 结果分析

5.6 案例总结

●第6 章 AI数据隐私窃取●

6.1 数据隐私窃取的基本原理

6.1.1 模型训练中数据隐私窃取

6.1.2 模型使用中数据隐私窃取

6.2 数据隐私窃取的种类与攻击思路

6.2.1 数据窃取攻击

6.2.2 成员推理攻击

6.2.3 属性推理攻击

6.3 实战案例：联邦学习中的梯度数据窃取攻击

6.3.1 案例背景

6.3.2 窃取原理介绍

6.3.3 窃取案例

6.3.4 结果分析

6.4 实战案例：利用AI水印对抗隐私泄露

6.4.1 案例背景

6.4.2 AI保护数据隐私案例

6.4.3 AI水印介绍

6.4.4 结果分析

6.5 案例总结

●第7 章 AI应用失控风险●

7.1 AI应用失控

7.1.1 深度伪造技术

7.1.2 深度伪造安全风险

7.2 AI应用失控防御方法

7.2.1 数据集

7.2.2 技术防御

7.2.3 内容溯源

7.2.4 行业实践

7.2.5 面临挑战

7.2.6 未来工作

7.3 实战案例：VoIP电话劫持+语音克隆攻击

7.3.1 案例背景

7.3.2 实验细节

7.4 实战案例：深度伪造鉴别

7.4.1 案例背景

7.4.2 实验细节

7.4.3 结果分析

7.5 案例总结

●后记 AI安全发展展望●