深入浅出图神经网络：GNN原理解析

这是一本从原理、算法、实现、应用4个维度详细讲解图神经网络的著作-在图神经网络领域具有重大的意义。

本书作者是图神经网络领域的资深技术专家-作者所在的公司极验也是该领域的领先者。本书是作者和极验多年研究与实践经验的总结-内容系统、扎实、深入浅出-得到了白翔、俞栋等多位学术界和企业界领军人物的高度评价及强烈推荐。

全书共10章：

第1～4章全面介绍了图、图数据、卷积神经网络以及表示学习等基础知识-是阅读本书的预备知识；

第5～6章从理论的角度出发-讲解了图信号处理和图卷积神经网络-深入剖析了图卷积神经网络的性质-并提供了GCN实现节点分类的实例；

第7～9章全面讲解了图神经网络的各种变体及范式、图分类机制及其实践-以及基于GNN的图表示学习；

第10章介绍了图神经网络的新研究和应用。

刘忠雨

毕业于华中科技大学，资深图神经网络技术专家，极验科技人工智能实验室主任和首席技术官。在机器学习、深度学习以及图学习领域有6年以上的算法架构和研发经验，主导研发了极验行为验证、深知业务风控、叠图等产品，极验科技目前服务于全球 26万家企业。

李彦霖　

毕业于武汉大学，极验人工智能实验室技术专家。一直从事机器学习、深度学习、图学习领域的研究工作。在深度神经网络算法研发、图神经网络在计算机视觉以及风控中的应用等领域实践经验丰富。

周洋

工学博士，毕业于武汉大学，目前在华中师范大学任教。曾受邀到北卡罗莱纳大学访学，长期在大数据挖掘前沿领域进行探索和研究，并应用于地理时空大数据、交通地理等诸多方向，已发表SCI&SSCI及核心期刊论文10余篇。

（1）极验AI & 图项目团队倾力之作

（2）资深图神经网络专家多年研究和实践总结-白翔、俞栋等学术界和企业界领军人物强烈推荐

（3）从原理、算法、实现、应用4个维度详细讲解图神经网络-理论与实践相结合

为何写作本书

近年来，作为一项新兴的图数据学习技术，图神经网络（GNN）受到了非常广泛的关注。2018年年末，发生了一件十分有趣的事情，该领域同时发表了三篇综述类型论文，这种“不约而同”体现了学术界对该项技术的认可。事实上，在2019年的各大顶级学术会议上，与图神经网络有关的论文也占据了相当可观的份额。相信在未来几年，这种流行的趋势会只增不减。

图神经网络技术的出现有其必然性和重要性。在深度神经网络技术兴起的前几年，图像、语音、文本等形式的数据都能在深度学习中被很好地应用，并获得了十分好的效果。这促使大量的相关应用进入了实用阶段，如人脸识别、语音助手、机器翻译等。尽管如此，深度学习一直无法很好地对另一类形式的数据—图数据（或称网络数据）进行有效的适配。作为一类主要用来描述关系的通用数据表示方法，图数据在产业界有着更加广阔的应用场景，在诸如社交网络、电子购物、物联网、生物制药等场景中，都可以找到图数据的影子。将深度学习技术的成功经验迁移到图数据的学习中来，是一种十分自然且必要的需求。

在这样的背景下，图神经网络的出现很好地填补了上述技术空白，实现了图数据与深度学习技术的有效结合，使得深度学习能够在图数据的相关应用场景中继续攻城略地。事实上，纵观这三年，图神经网络技术的相关应用和研究已经拓展到了极其广泛的领域，从视觉推理到开放的阅读理解问题，从药物分子的研发到5G芯片的设计，从交通流量预测到3D点云数据的学习，该项技术都展示出了极其重要且极具渗透性的应用能力，这种能力必将给产业界带来极高的应用价值。

笔者所在公司极验在业务风控的应用场景中，长期奋战在网络攻防对抗的前线，在这样的背景下，不管是主动还是被动，都促使我们不断努力提升数据分析与数据建模的能力，一直以来，我们都期望有一套端对端的模型来高效学习数据中的关系或结构化信息。极验在2017年年中与图神经网络技术结缘，正好提供了这样的契机，在对该项技术进行多番论证并上线到极验的实际业务中后，取得了超出预期的效果，这极大提升了我们对该项技术的热情。同时，为了更好地对这项新技术进行讨论和学习，我们组织了相应的学习社群，大家都表现出了高昂的热情，这份热情激励笔者将更多精力投入到该项技术上，也正因如此，写一本关于图神经网络的书籍的想法应运而生。期望通过本书，让读者朋友对该项技术的来龙去脉有更清晰、全面的认识。如果能产生更大的知识分享成果，那么本书的价值就更高了，这将是对我们的最好回报。

本书读者对象

想学习并初步实践图神经网络技术的读者

想较系统且深入理解图神经网络技术的读者

本书主要内容

本书分为三大部分：

第一部分为基础篇，包括第1～4章，其中第1章由笔者撰写，第2～4章由李彦霖撰写。主要介绍学习图神经网络所需的基础知识，包括图的基本概念、卷积神经网络以及表示学习，帮助初学者更加清晰地认识到图神经网络技术与深度学习技术是一脉相承的。

第二部分为高级篇，包括第5～9章。这部分是本书的重点，主要讲解图卷积神经网络的理论基础和性质、图神经网络的各种变体和框架范式、图分类以及基于GNN的图表示学习。该部分的各章节都有相关的实践案例，为读者规划了完整的从理论到实践的学习路线，帮助读者系统全面地学习图神经网络。这部分有两位作者，理论部分由笔者撰写，实践案例的代码由李彦霖提供。

第三部分为应用篇，即第10章，主要介绍了图神经网络目前的一些应用。图神经网络的应用非常广泛，现实应用场景非常多，但鉴于本书的规划，这里只是略着笔墨，旨在抛砖引玉，让读者对应用场景有一定的认知。这部分由周洋撰写。

最后，每个章节都附有相关的参考文献。

本书特色

本书有如下特色：

（1）详细阐述了图卷积模型的由来，以及什么是频域图卷积和空域图卷积，这是很多初学者学习该技术的第一只“拦路虎”；

（2）集中阐述了图卷积模型的性质，这些性质的解读对读者深入地理解图神经网络技术有着重要的作用；

（3）给出了关键部分的代码，希望能辅助读者清晰理解书中的一些公式里的变量的具体含义。

（4）本书为了帮助读者理解图神经网络的相关概念和技术，提供了很多示意图。

勘误和支持

由于作者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。如果你遇到任何问题，可以访问我们专门为本书创建的技术主页 https://github.com/FighterLYL/GraphNeuralNetwork，我们将尽量为读者提供满意的解答。如果你有更多宝贵的意见，也欢迎发送邮件至邮箱[email protected]，期待能够得到你们的真挚反馈。

致谢

首先要感谢这个开放的时代，深度学习技术的爆发离不开产、学、研的紧密结合，在信息开放、知识分享的大背景下，我们每一个人都是其中的受益者。

感谢笔者所在公司极验科技，对本书的写作提供了大力支持，特别是同事谢永芬，完成了书稿所有章节的初排工作，为其中大量的公式和插图付出了许多精力。

感谢机械工业出版社华章公司的编辑杨福川和张锡鹏，在这段时间始终支持我们的写作，他们的耐心和专业引导我们顺利完成了撰写工作。

感谢我的妻子，她理解并支持我这段时间的挑灯写作，家人的关怀是我前进的动力！

刘忠雨

前言

第1章　图的概述 1

1.1　图的基本定义 1

1.1.1　图的基本类型 2

1.1.2　邻居和度 4

1.1.3　子图与路径 4

1.2　图的存储与遍历 5

1.2.1　邻接矩阵与关联矩阵 5

1.2.2　图的遍历 6

1.3　图数据的应用场景 7

1.4　图数据深度学习 10

1.5　参考文献 13

第2章　神经网络基础 17

2.1　机器学习基本概念 17

2.1.1　机器学习分类 17

2.1.2　机器学习流程概述 18

2.1.3　常见的损失函数 21

2.1.4　梯度下降算法 23

2.2　神经网络 25

2.2.1　神经元 25

2.2.2　多层感知器 27

2.3　激活函数 29

2.3.1　S型激活函数 30

2.3.2　ReLU及其变种 30

2.4　训练神经网络 33

2.4.1　神经网络的运行过程 34

2.4.2　反向传播 34

2.4.3　优化困境 36

2.5　参考文献 38

第3章　卷积神经网络 39

3.1　卷积与池化 39

3.1.1　信号处理中的卷积 39

3.1.2　深度学习中的卷积操作 42

3.1.3　池化 46

3.2　卷积神经网络 46

3.2.1　卷积神经网络的结构 47

3.2.2　卷积神经网络的特点 49

3.3　特殊的卷积形式 51

3.3.1　1×1卷积 51

3.3.2　转置卷积 52

3.3.3　空洞卷积 54

3.3.4　分组卷积 55

3.3.5　深度可分离卷积 55

3.4　卷积网络在图像分类中的应用 56

3.4.1　VGG 56

3.4.2　Inception系列 57

3.4.3　ResNet 60

3.5　参考文献 62

第4章　表示学习 65

4.1　表示学习 65

4.1.1　表示学习的意义 65

4.1.2　离散表示与分布式表示 66

4.1.3　端到端学习是一种强大的表示学习方法 68

4.2　基于重构损失的方法—自编码器 69

4.2.1　自编码器 69

4.2.2　正则自编码器 71

4.2.3　变分自编码器 72

4.3　基于对比损失的方法—Word2vec 75

4.4　参考文献 79

第5章　图信号处理与图卷积神经网络 81

5.1　矩阵乘法的三种方式 81

5.2　图信号与图的拉普拉斯矩阵 83

5.3　图傅里叶变换 85

5.4　图滤波器 90

5.4.1　空域角度 93

5.4.2　频域角度 94

5.5　图卷积神经网络 96

5.6　GCN实战 101

5.7　参考文献 109

第6章　GCN的性质 111

6.1　GCN与CNN的联系 111

6.2　GCN能够对图数据进行端对端学习 115

6.3　GCN是一个低通滤波器 120

6.4　GCN的问题—过平滑 122

6.5　参考文献 127

第7章　GNN的变体与框架 129

7.1　GraphSAGE 129

7.1.1　采样邻居 130

7.1.2　聚合邻居 131

7.1.3　GraphSAGE算法过程 132

7.2　GAT 134

7.2.1　注意力机制 134

7.2.2　图注意力层 137

7.2.3　多头图注意力层 138

7.3　R-GCN 140

7.3.1　知识图谱 140

7.3.2　R-GCN 141

7.4　GNN的通用框架 143

7.4.1　MPNN 143

7.4.2　NLNN 146

7.4.3　GN 147

7.5　GraphSAGE实战 148

7.6　参考文献 153

第8章　图分类 155

8.1　基于全局池化的图分类 155

8.2　基于层次化池化的图分类 156

8.2.1　基于图坍缩的池化机制 157

8.2.2　基于TopK的池化机制 165

8.2.3　基于边收缩的池化机制 168

8.3　图分类实战 169

8.4　参考文献 177

第9章　基于GNN的图表示学习 179

9.1　图表示学习 180

9.2　基于GNN的图表示学习 182

9.2.1　基于重构损失的GNN 183

9.2.2　基于对比损失的GNN 184

9.3　基于图自编码器的推荐系统 188

9.4　参考文献 195

第10章　GNN的应用简介 197

10.1　GNN的应用简述 197

10.2　GNN的应用案例 199

10.2.1　3D视觉 199

10.2.2　基于社交网络的推荐系统 203

10.2.3　视觉推理 205

10.3　GNN的未来展望 208

10.4　参考文献 209

附录A　符号声明 211