图神经网络

网络嵌入：网络嵌入旨在将图中的每个节点表征为一个低维向量，以便在嵌入向量中 保留有用的信息，比如图结构和图的一些属性。网络嵌入又称为图嵌入和节点表征学习。

图神经网络：图神经网络是指能够在图数据上工作的任何神经网络。

图卷积网络：图卷积网络通常是指由Kipf 和Welling（Kipf and Welling ，2017a）提出 的特定图神经网络。在某些文献中，图卷积网络偶尔会被用作图神经网络的同义词。

消息传递：消息传递是图神经网络的框架之一，其中的关键步骤是根据每个神经网络 层的图结构在不同节点之间传递消息。采用最为广泛的表述为消息传递神经网络，也就是 仅在直接连接的节点之间传递消息（Gilmer et al ，2017）。在某些文献中，消息传递函数也 称为图滤波器或图卷积。

读出：读出（readout）是指对各个节点的信息进行总结，以形成更高层次的信息，如 形成子图/超图或获得整个图的表征。在某些文献中，读出也称为池化（pooling）或图粗粒 化（graph coarsening）。

图对抗攻击：图对抗攻击旨在通过操纵图结构和（或）节点表征以产生最坏情况下的 扰动，从而使得一些模型的性能下降。图对抗攻击可以根据攻击者的目标、能力及其所能 够获得的知识进行分类。

鲁棒性验证：鲁棒性验证旨在提供形式化的保证，使得即使根据某个扰动模型进行扰 动，GNN 的预测也不受影响。

从概念上讲，我们可以将图神经网络的基本学习任务分为 5 个不同的方向：（1）图神 经网络方法；（2）图神经网络的理论理解；（3）图神经网络的可扩展性；（4）图神经网络的可解释性；（5）图神经网络的对抗鲁棒性。

图神经网络方法。图神经网络是专门设计的用于在图结构数据上进行操作的神经网络 架构。图神经网络的目标是通过聚合邻居节点的表征及其在前一次迭代中的表征来迭代更 新节点表征。目前已有多种图神经网络被提出（Kipf and Welling ，2017a；Petar et al ，2018； Hamilton et al ，2017b；Gilmer et al ，2017；Xu et al ，2019d；Veli?kovi? et al ，2019d；Veli?kovi? et al ，2019；Kipf and Welling ，2016），它们可以进一步划分为有监督的GNN 和无监督的 GNN。学习到节点表征之后，GNN 的一个基本任务就是进行节点分类， 也就是将节点分类 到一些预定义的类别中。尽管各种 GNN 已经取得巨大的成功，但我们在训练深度图神经网 络时仍面临一个严重的问题—过平滑问题（Li et al ，2018b），其中所有的节点都有类似的 表征。最近有许多研究提出了不同的补救措施来解决过平滑问题。

图神经网络的理论理解。GNN算法的快速发展引起了人们对GNN理论分析的极大兴趣。特别地，为了描述GNN与传统图算法（如基于图核的方法）相比表达能力如何，以及如何构建更强大的GNN以克服GNN的一些限制，人们做出了很多努力。具体来说，Xuetal（2019d）证明了目前的GNN方法能够达到一维Weisfeiler-Lehman测试（WeisfeilerandLeman，1968）的表达能力，这是传统图核领域广泛使用的方法（Shervashidzeetal，2011b）最近的许多研究进一步提出了一系列的设计策略，以进一步超越一维 Weisfeiler-Lehman 测 试的表达能力，包括附加随机属性、距离属性和利用高阶结构等。

图神经网络的可扩展性。随着图神经网络日益普及，许多人尝试将各种图神经网络方法 用于现实世界中的应用， 其中图的大小可以有大约 1 亿个节点和 10 亿条边。遗憾的是， 因 为需要大量的内存，大多数 GNN 方法不能直接应用于这些大规模的图结构数据（Hu et al ， 2020b）。具体来说，这是因为大多数 GNN 需要在内存中存储整个邻接矩阵和中间层的特征 矩阵，这对计算机内存消耗和计算成本都是巨大的挑战。为了解决这些问题，最近的许多 研究提出了各种抽样策略，如节点抽样（Hamilton et al ，2017b；Chen et al ，2018d）、层抽 样（Chen and Bansal ，2018；Huang ，2018）和图抽样（Chiang et al ，2019；Zeng et al ，2020a）。

图神经网络的可解释性。为了使机器学习过程可以被人类理解，可解释的人工智能正 变得越来越流行，特别是由于深度学习技术的黑盒问题。因此，人们对提高 GNN 的可解释 性同样深感兴趣。一般来说，GNN 的解释结果可以是重要的节点、边，也可以是节点或边 的重要特征。从技术上讲，基于白盒近似的方法（Baldassarre and Azizpour ， 2019 ； Sanchez-Lengeling et al ，2020）利用模型内部的信息（如梯度、中间特征和模型参数）来提 供解释。与之相对，基于黑盒近似的方法（Huang et al ，2020c；Zhang et al ，2020a；Vu and Thai ，2020）则放弃了对复杂模型内部信息的使用，而是利用内在可解释的简单模型（如线 性回归和决策树）来适应复杂模型。然而，大多数现有的工作很耗时，这就造成处理大规 模的图成为瓶颈。为此，人们最近做出了很多努力，以便在不影响解释准确性的情况下开 发更有效的方法。

图神经网络的对抗鲁棒性。值得信赖的机器学习最近吸引了大量的关注。这是因为现 有的研究表明，深度学习模型可以被故意愚弄、逃避、误导和窃取（Goodfellow et al ，2015）。 因此，在计算机视觉和自然语言处理等领域， 已有一系列工作广泛地研究了模型的鲁棒性， 这也启发了对 GNN 鲁棒性的类似研究。从技术上讲，研究 GNN 鲁棒性的标准方法（通过 对抗性例子）是构造输入图数据的一个微小变化，然后观察是否导致预测结果产生较大变 化（如节点分类准确性）。目前，越来越多的人开始研究对抗性攻击（Dai et al ，2018a；Wang and Gong ，2019；Wu et al ，2019b；Zügner et al ，2018；Zügner et al ，2020）和对抗性训练 （Xu et al ，2019c；Feng et al ，2019b；Chen et al ，2020i；Jin and Zhang ，2019）。最近的许多 努力致力于在对抗性训练以及可认证的鲁棒性（certified robustness）方面提供理论保证和新算法开发。

入门经神网络书籍

该书是当前介绍图神经网络方面非常全面的书籍之一，本书的编排方式照顾了绝大部分自学读者的需求。《图神经网络： 基础、前沿与应用》一书系统地介绍了图神经网络的各个方面， 从基础理论到前沿问题，从模型算法到实际应用。全书分四部分，共 27 章。

本书旨在涵盖图神经网络领域的广泛主题，包括背景、理论基础、方法论、研究前沿 和应用等。因此，本书可作为一本综合性的手册，供学生、研究人员和专业人士等读者使 用。在阅读之前，您应该对与统计学、机器学习和图论相关的概念和术语有一定了解。我 们在第 1 章～第 8 章提供并引用了一些基础知识的背景。您最好也有深度学习相关的知识 和一些编程经验，以便轻松阅读本书的大部分章节。尤其是，您应该能够阅读伪代码并理 解图结构。

本书内容是模块化的，对于每一章， 您都可以根据自己的兴趣和需要有选择性地学习。 对于那些想要深入了解图神经网络的各种技术和理论的读者，可以选择从第 4 章～第 8 章 开始阅读；对于那些想进一步深入研究和推进相关领域的读者，请阅读第 9 章～第 18 章中 感兴趣的内容，这些章提供了关于最新研究问题、开放问题和研究前沿的全面知识；对于 那些想使用图神经网络来造福特定领域的读者，或者想寻找有趣的应用以验证特定的图神 经网络技术的读者，请阅读第 19 章～第 27 章。

本书组织结构

本书的组织结构见图3.1。本书分为四部分， 读者可以根据需要选择性阅读。第一部分 介绍图神经网络的基本概念；第二部分讨论图神经网络成熟的方法；第三部分介绍图神经 网络典型的前沿领域；第四部分描述可能对图神经网络未来研究比较重要和有前途的方法 与应用的进展情况。

● 第一部分 引言 这一部分提供从不同数据类型的表征学习到图表征学习的一般 介绍，此外还将介绍用于图表征学习的图神经网络的基本思想和典型变体。

● 第二部分 基础 这一部分通过介绍图神经网络的特性以及这一领域的几个基本 问题来描述图神经网络的基础。具体来说，这一部分介绍图的如下基本问题：节 点分类、图神经网络的表达能力、图神经网络的可解释性和可扩展性问题，以及图神经网络的对抗鲁棒性。

● 第三部分 前沿 这一部分提出图神经网络领域的一些前沿或高级问题。具体来 说，这一部分包括关于图分类、链接预测、图生成、图转换、图匹配、图结构学 习等技术的介绍。此外，这一部分还将介绍针对不同类型图的 GNN 的几种变体， 如针对动态图、异质图的 GNN。这一部分的最后则介绍 GNN 的自动机器学习和 自监督学习。

● 第四部分 广泛和新兴的应用 这一部分介绍涉及 GNN 的广泛和新兴的应用。具 体来说，这些基于 GNN 的应用包括现代推荐系统、计算机视觉和自然语言处理、 程序分析、软件挖掘、用于药物开发的生物医学知识图谱挖掘、蛋白质和功能相 互作用预测、异常检测和智慧城市等。