图神经网络：基础与前沿

图神经网络是人工智能领域的一个新兴方向，它不仅迅速得到了学术界的广泛关注，而且被成功地应用在工业界的多个领域。本书介绍了图神经网络和图深度学习的基础知识和前沿研究，不仅包括它们的发展历史和经典模型，还包括图神经网络在深层网络、无监督学习、大规模训练、知识图谱推理等方面的前沿研究，以及它们在不同领域（如推荐系统、生化医疗、自然语言处理等）的实际应用。 本书既可作为人工智能领域研究和开发人员的技术参考书，也可作为对图上的深度学习感兴趣的高年级本科生和研究生的入门书。

马腾飞，IBM全球研究院总部研究员，东京大学博士，研究方向为机器学习、自然语言处理等。近期的研究集中在图神经网络及其在医疗、生化、金融等领域的应用。在ICLR、NeurIPS、AAAI等人工智能国际顶级会议上发表论文30多篇，并与他人合作，在AAAI、KDD等会议上多次讲授图神经网络的前沿专题。

√梳理图神经网络（GNN）领域的经典模型

√帮助读者构建图神经网络知识体系

√厘清重要模型的设计思路和技术细节

√展现图神经网络的研究进展

√图神经网络在推荐系统、生物医疗、自然语言处理等不同场景的实践

本书内容

本书详细讨论了图神经网络的经典模型、前沿发展及经典应用，包含了一些与图深度学习相关的内容，如网络嵌入、知识图谱嵌入等，以帮助读者构建更全面的图神经网络知识体系。在介绍具体的图神经网络模型之前，本书先对图神经网络所需要的基础知识进行了简要概括，之后，尽量按照经典图神经网络模型的发展顺序分类进行介绍，最后介绍图神经网络中的开放问题和百花齐放的前沿解决方案。希望读者可以通过阅读本书，熟悉整个图神经网络的发展脉络，厘清重要模型的设计思路和技术细节，了解前人是怎么开创一个新领域并逐渐将其发展壮大的。希望本书不仅能帮助想学习图神经网络知识的读者更好地理解技术，而且能让想在别的领域做出突破的读者获得些许灵感。

阅读本书需要读者具有一定的机器学习基础。本书包含了一些图神经网络的公式化理论和模型，并尽量用简洁的语言表述，以便读者更好地理解。书中对模型的介绍在保持严谨的同时，力求将模型背后的设计思路清晰地呈现。书中加入了很多近一两年的新工作，力图向读者展现这个领域的最新研究进展。我与朋友合作，在 AAAI 和 KDD 大会上做了两次关于图神经网络的前沿专题演讲，其中的大部分内容都囊括在本书中。希望这些前沿知识能够让想从事图神经网络应用和研究的读者少走弯路，更容易找到最适合自己目标任务的新模型。对于想应用图神经网络模型的读者，本书将为你提供方向，例如，如何建图、如何选择模型等。

致谢

写作本书的过程比我预想的困难许多，花费了我大量的时间和精力，但写作过程也让我受益匪浅，不仅弥补了我对一些子方向中相关知识的空白，也让我对整个图神经网络的发展有了更全面的认识。感谢本书责任编辑郑柳洁为本书提出了大量有价值的建议；感谢我的论文合作者们，尤其是陈捷和 Danica，是他们引导我进入这个领域并与我一起进步；感谢我的导师和前辈在成书过程中对我的鼓励。

最后，感谢家人对我的理解和支持，感谢我的父母和姐姐，尤其感谢我的妻子。2020 年是特殊的一年，虽然新冠疫情肆虐，生活受到了极大的困扰，但儿子的出生让我感到莫大的欣慰。疫情导致父母不能来美国，这让我和妻子获得了全程照顾儿子的机会，虽然劳累，但当三人挤成一团时，我总是倍感幸福，妻儿的笑容是我完成本书最大的助力！

马腾飞

美国纽约州 White Plains

第 1 章 当深度学习遇上图：图神经网络的兴起 1
1．1 什么是图1
1．2 深度学习与图 2
1．2．1 图数据的特殊性质 3
1．2．2 将深度学习扩展到图上的挑战 4
1．3 图神经网络的发展 5
1．3．1 图神经网络的历史 5
1．3．2 图神经网络的分类 7
1．4 图神经网络的应用 8
1．4．1 图数据上的任务 8
1．4．2 图神经网络的应用领域 8
1．5 小结 11
第 2 章 预备知识 13
2．1 图的基本概念 13
2．2 简易图谱论 15
2．2．1 拉普拉斯矩阵 16
2．2．2 拉普拉斯二次型 17
2．2．3 拉普拉斯矩阵与图扩散 18
2．2．4 图论傅里叶变换 19
2．3 小结 20
第 3 章 图神经网络模型介绍 21
3．1 基于谱域的图神经网络 21
3．1．1 谱图卷积网络 21
3．1．2 切比雪夫网络 24
3．1．3 图卷积网络 25
3．1．4 谱域图神经网络的局限和发展 27
3．2 基于空域的图神经网络 28
3．2．1 早期的图神经网络与循环图神经网络 28
3．2．2 再谈图卷积网络 29
3．2．3 GraphSAGE：归纳式图表示学习 31
3．2．4 消息传递神经网络 34
3．2．5 图注意力网络 37
3．2．6 图同构网络：Weisfeiler-Lehman 测试与图神经网络的表达力 39
3．3 小试牛刀：图卷积网络实战 42
3．4 小结 46
第 4 章 深入理解图卷积网络 47
4．1 图卷积与拉普拉斯平滑：图卷积网络的过平滑问题 47
4．2 图卷积网络与个性化 PageRank 50
4．3 图卷积网络与低通滤波 52
4．3．1 图卷积网络的低通滤波效果 52
4．3．2 图滤波神经网络 54
4．3．3 简化图卷积网络 55
4．4 小结 56
第 5 章 图神经网络模型的扩展 57
5．1 深层图卷积网络 57
5．1．1 残差连接 58
5．1．2 JK-Net 60
5．1．3 DropEdge 与 PairNorm 60
5．2 图的池化 61
5．2．1 聚类与池化 62
5．2．2 可学习的池化：DiffPool 63
5．2．3 Top-k 池化和 SAGPool 65
5．3 图的无监督学习 67
5．3．1 图的自编码器 67
5．3．2 最大互信息 70
5．3．3 其他 72
5．3．4 图神经网络的预训练 72
5．4 图神经网络的大规模学习 74
5．4．1 点采样 75
5．4．2 层采样 76
5．4．3 图采样 78
5．5 不规则图的深度学习模型 80
5．6 小结 81
第 6 章 其他图嵌入方法 83
6．1 基于矩阵分解的图嵌入方法 83
6．1．1 拉普拉斯特征映射 83
6．1．2 图分解 84
6．2 基于随机游走的图嵌入方法 86
6．2．1 DeepWalk 86
6．2．2 node2vec 87
6．2．3 随机游走与矩阵分解的统一 88
6．3 从自编码器的角度看图嵌入 88
6．4 小结 89
第 7 章 知识图谱与异构图神经网络 91
7．1 知识图谱的定义和任务 92
7．1．1 知识图谱 92
7．1．2 知识图谱嵌入 92
7．2 距离变换模型 94
7．2．1 TransE 模型 94
7．2．2 TransH 模型 95
7．2．3 TransR 模型 96
7．2．4 TransD 模型 97
7．3 语义匹配模型 97
7．3．1 RESCAL 模型 98
7．3．2 DistMult 模型 98
7．3．3 HolE 模型 98
7．3．4 语义匹配能量模型 99
7．3．5 神经张量网络模型 99
7．3．6 ConvE 模型 100
7．4 知识图谱上的图神经网络 100
7．4．1 关系图卷积网络 100
7．4．2 带权重的图卷积编码器 101
7．4．3 知识图谱与图注意力模型 102
7．4．4 图神经网络与传统知识图谱嵌入的结合：CompGCN 103
7．5 小结 103
第 8 章 图神经网络模型的应用 105
8．1 图数据上的一般任务 105
8．1．1 节点分类 106
8．1．2 链路预测 106
8．1．3 图分类 107
8．2 生化医疗相关的应用 108
8．2．1 预测分子的化学性质和化学反应 108
8．2．2 图生成模型与药物发现 109
8．2．3 药物/蛋白质交互图的利用 116
8．3 自然语言处理相关的应用 117
8．4 推荐系统上的应用 121
8．5 计算机视觉相关的应用 123
8．6 其他应用 124
8．7 小结 124
参考文献 127