分布式人工智能(博文视点出品)

《分布式人工智能》可分为五大部分，阐述了分布式人工智能的基础知识以及相关进展，包括分布式人工智能简介、分布式规划与优化、多智能体博弈、多智能体学习和分布式人工智能应

用。除此之外，由于本领域尚处于蓬勃发展阶段，相关技术与应用层出不穷，因此书中还提供了研究者对于分布式人工智能发展的相关预测，以供读者深入了解、学习。

本书适合相关领域的从业者学习，也适合作为本领域研究者的案头参考。

《分布式人工智能》配有丰富的免费视频教学资源，以及作者、读者交流群，帮助系统深入地学习。

分布式人工智能作为解决复杂学习和决策的方法，在处理大规模计算问题上有独特的优势，并在社会实践中应用广泛，像电子商务、交易行为、游戏、安防、机制选择等，背后均离不开它的支持。

《分布式人工智能》集一线专家的研究经验智慧，全面阐述分布式人工智能领域的各层次问题，使读者能对本领域有系统的认知，并阐述了前沿的话题，帮助读者深入理解分布式人工智能的未来趋势。

《分布式人工智能》目前国内本领域V一的著作，既可作为相关从业者的案头参考，也可作为初学者入门的学习手册。

分布式人工智能初创于20世纪70年代，是一个快速发展的研究领域。在过去的二十年内，它从分布式规划和优化到智能体之间的竞争和合作学习，以及在现实世界中的应用，都取得了令人欣喜的进展。有很多优秀的学者在从事这个领域的研究，AAMAS 会议1 也成为人工智能领域的顶级会议。

这二十年的发展可大致分为两个阶段，其中前十年研究者主要关注的是分布式规划和优化，以及拍卖和博弈均衡的求解；而后十年，随着深度学习的兴起，分布式人工智能转向智能体的学习方面，其中包括单智能体和多智能体的强化学习，以及基于模型的强化学习。其中最为人们所熟知的进展是2016 年DeepMind 的研究者开发出的AlphaGo 程序击败了人类棋手，2017 年卡耐基梅隆大学的Tuomas Sandholm 教授团队开发的Libratus 在二人无限下注的德州扑克上打败人类职业玩家，以及2019 年（仍旧是）DeepMind 的研究者开发出的AlphaStar 在星际争霸II 游戏中打败职业人类玩家。这一类复杂问题的成功解决，鼓舞着分布式人工智能领域的研究者，也使得该领域的研究获得了长足的进展。我们相信一本能够涵盖该领域相关重要进展的书籍将会对研究者大有裨益。

在本书中，我们从五个方面介绍分布式人工智能的基础知识以及相关进展，分别是：第一部分，分布式人工智能简介，其中包含第1 章概述，该部分重点回顾了分布式人工智能的发展历程，并对现存的研究挑战和研究热点做了总览；第二部分，分布式规划与优化，其中包含第2 章分布式规划和第3 章分布式约束优化，该部分主要阐述利用经典方法如混合整数线性规划和搜索方法进行的分布式规划和优化；第三部分，多智能体博弈，其中包含第4 章纳什均衡求解、第5 章机制设计、第6 章合作博弈与社会选择，以及第7 章博弈学习，该部分针对多智能体之间的竞争，涵盖了包括传统优化和学习方法在内的均衡求解和机制设计；第四部分，多智能体学习，其中包含第8 章单智能体强化学习、第9章基于模型的强化学习、第10章多智能体合作学习、第11 章多智能体竞争学习，该部分主要关注单智能体和多智能体之间的强化学习，尤其是深度强化学习方法；最后是第五部分，分布式人工智能应用，其中包含第12章安全博弈和第13章社交网络中的机制设计。

分布式人工智能领域仍然处在蓬勃发展中，相关的技术和应用层出不穷。我们在书中也提供了研究者对于分布式人工智能发展的相关预测，集中在：第一，更复杂和更大规模的分布式人工智能问题的研究和解决；第二，分布式人工智能的安全性、鲁棒性和泛化性，这将极大地促进人们对于分布式人工智能问题的理解；第三，分布式人工智能的可解释性，这将使得人类能够理解算法的决策，为分布式人工智能的落地减少障碍。

在选择书中内容的时候，我们尽可能涵盖分布式人工智能的各个方面，并得到了相关领域研究者的大力协助。我们希望在为初学者提供一个全面的领域介绍的同时，也能为研究者提供一本可供查阅的工具书。

我们感谢所有章节作者的付出以及电子工业出版社刘皎老师为本书出版所做的努力！

第一部分分布式人工智能简介

1 概述

（安波，新加坡南洋理工大学）

1.1 研究背景3

1.2 主要研究领域8

1.3 相关应用14

1.4 当前热点与挑战18

参考文献

第二部分分布式规划与优化

2 分布式规划

（吴锋，中国科技大学）

2.1 研究背景9

2.2 分布式规划的决策模型31

2.3 分布式规划的离线算法36

2.4 分布式规划的在线算法46

2.5 当前热点与挑战52

参考文献 54

3 分布式约束优化

（陈自郁，重庆大学）

3.1 研究背景58

3.2 分布式约束优化问题59

3.2.1 约束网络59

3.2.2 基础概念 60

3.3 求解算法分类63

3.4 完备求解算法65

3.5 非完备求解算法72

3.6 基准测试问题和典型应用 80

3.7 当前热点与挑战85

参考文献86

第三部分多智能体博弈

4 纳什均衡求解

（邓小铁，北京大学；刘正阳，北京理工大学）

4.1 研究背景93

4.2 正规形式博弈94

4.3 纳什均衡与纳什定理95

4.4 二人博弈纳什均衡求解算法97

4.5 纳什均衡的计算复杂性106

4.6 当前热点与挑战108

参考文献110

5 机制设计

（沈蔚然，中国人民大学；唐平中，清华大学）

5.1 研究背景112

5.2 什么是机制113

5.3 拍卖机制设计118

5.4 付费搜索拍卖128

5.5 当前热点与挑战130

参考文献131

6 合作博弈与社会选择

（王崇骏，南京大学）

6.1 研究背景133

6.2 合作博弈论135

6.3 核与稳定集139

6.4 核仁143

6.5 Shapley 值150

6.6 社会选择153

6.7 应用场景161

6.8 当前热点与挑战164

参考文献170

7 博弈学习

（高阳、孟林建、葛振兴，南京大学）

7.1 不完美信息扩展式博弈177

7.2 均衡计算179

7.3 对手利用191

7.4 小结199

参考文献200

第四部分多智能体学习

8 单智能体强化学习

（章宗长、俞扬，南京大学）

8.1 研究背景207

8.2 强化学习的基本设定208

8.2.1 强化学习模型 208

8.2.2 马尔可夫决策过程 210

8.3 动态规划212

8.4 表格式的强化学习215

8.5 深度强化学习219

8.6 基准测试平台与实际应用234

8.7 当前热点与挑战238

8.8 小结 242

参考文献243

9 基于模型的强化学习

（张伟楠，上海交通大学；汪军，伦敦大学学院）

9.1 Dyna：基于模型的强化学习经典方法 249

9.2 打靶法250

9.3 基于模型的策略优化方法253

9.4 基于模型的方法：从单智能体到多智能体255

9.5 小结260

参考文献262

10 多智能体合作学习

（张崇洁，清华大学）

10.1 研究背景263

10.2 合作学习问题描述265

10.3 基于值函数的合作多智能体强化学习算法265

10.4 基于策略的合作学习算法272

10.5 基准测试集280

10.6 当前热点与挑战282

10.6.1 探索282

10.7 小结289

参考文献290

11 多智能体竞争学习

（郝建业、郑岩，天津大学）

11.1 研究背景298

11.2 竞争式问题描述 299

11.3 基于对手建模的竞争学习算法300

11.3.1 隐式的对手建模方法 300

11.3.2 显式的对手建模方法 309

11.4 基于群体自博弈的竞争学习算法315

11.4.1 自博弈机制 315

11.4.2 联盟训练 318

11.5 实际应用319

11.6 小结321

参考文献322

第五部分 分布式人工智能应用

12 安全博弈

（安波，新加波南洋理工大学；甘家瑞，牛津大学）

12.1 研究背景327

12.2 安全博弈模型与均衡329

12.3 复杂环境下的安全博弈339

12.4 实际应用与成功案例349

12.5 当前热点与挑战354

参考文献360

13 社交网络中的机制设计

（赵登吉，上海科技大学）

13.1 研究背景367

13.2 传播网络与传播机制369

13.3 VCG 在网络上的扩展373

13.4 基于关键传播路径的拍卖机制375

13.5 当前热点与挑战 381

参考文献382