【论文分享】图上的小样本学习综述：Few-Shot Learning on Graphs: A Survey

时间：2022.06
这是arxiv上一篇预发表综述
链接：https://arxiv.org/pdf/2203.09308.pdf

摘要：图表示学习由于其卓越的性能在许多实际应用中引起了极大的关注。然而，针对特定任务的监督图表示学习模型往往存在标签稀疏性问题，因为对数据进行标签总是耗时耗资源。基于此，人们提出了图上的小样本学习(FSLG)，它结合了图表示学习和小样本学习的优点，以解决在面对有限的标注数据挑战时性能下降的问题。最近有很多关于FSLG的研究。在本文中，我们以一系列方法和应用的形式全面地综述了这些工作。具体来说，我们首先介绍了FSLG的挑战和基础，然后根据节点、边和图这三种不同粒度层次的图挖掘任务，对FSLG现有的工作进行了分类和总结。最后，我们对FSLG未来的研究方向进行了展望。

1 Introduction

• 许多现实世界的系统可以建模为图
• 为特定的下游任务开发强大的监督GRL（图表示学习）模型通常需要大量的注释样本。然而，由于昂贵的标签成本，在实际情况中通常缺乏标签数据。
• 这就需要一种新的GRL范式来有效地学习具有有限标签数据约束的图表示。
• 幸运的是，小样本学习(FSL)的出现缓解了对标签数据的依赖，
• 因此，融合了GRL（graph representation learning techniques）和FSL（few-shot learning）优势的few-shot learning on graphs(FSLG)已经成为一个很有前景的研究课题，并越来越受到AI界的关注。
• 近年来出现了许多跨越多种方法和应用的FSLG研究。本文对FSLG进行了全面系统的综述。下图说明了这个调查的框架。

• 具体来说，我们首先分析了FSLG面临的关键挑战。
• 然后介绍了图表示学习和小样本学习，以及三种典型的图小样本学习（以下简称FSLG）问题。
• 接下来，我们总结现有的FSLG方法和应用，这些方法和应用分为三个部分，分别对应于不同粒度级别的三个典型图挖掘任务：节点级FSL、边级FSL和图级FSL。对于每个部分，我们将涉及两个主要的工作线：metric-based 的方法和optimization-based的方法，并进一步讨论相关的应用。
• 我们还提供了一个全面的汇总表，列出了具有代表性的FSLG工作及其开源代码/数据集。
• 最后，讨论了FSLG未来的研究方向和有待解决的问题。

贡献如下：

• 我们从问题、方法和应用的角度分析了FSLG的关键挑战。
• 我们对已有的研究进行了全面的综述，根据不同的图挖掘任务粒度级别将其系统地分为三个部分。
• 本文探讨了FSLG未来的研究方向，为人工智能领域的发展提供参考。

2 FSLG Challenges and Bases

FSLG作为人工智能领域一个新的、有前景的研究课题，面临以下关键挑战：

FSLG问题的独特性：

• 与一般的GRL问题不同，FSLG面临的挑战是有限的标签。此外，FSLG不同于图像或文本上的FSL，因为图处于非欧氏空间，具有更复杂的特性。
• 因此，FSLG问题的独特性要求同时处理图数据的复杂性(如不规则性、异构性)和少镜头任务的难度(如任务多样性、归纳偏差)。

方法的复杂性

• 在FSLG出现之前，有大量针对GRL和FSL挑战的独立研究，但没有一个能够同时解决这两个问题。因此，开发由GRL模块和FSL模块组成的FSLG方法，并将二者结合起来，协同有效地解决FSLG问题是必要的，但也是困难的。

图挖掘应用的多样性

• 不同应用的图挖掘任务是不同的，从节点级到边缘级再到图级任务。它们需要不同的设置、目标、约束和领域知识。因此，为目标应用开发定制的FSLG方法并不容易。

2.1 Graph Representation Learning

• 图表示学习(GRL) 的目的是为各种下游图挖掘应用自动发现节点、边或整个图的有意义的向量表示。

现存的GRL方法通常分为三类：

• network embedding models：通过邻居结点之间的关系来捕获图的结构信息
• graph neural networks (GNNs)：通过聚集邻居的特征信息来学习节点嵌入
• knowledge graph embedding methods：将图构建为事实三元组的集合，并通过建模每个事实三元组的可接受性得分来学习节点和边(又称实体和关系)嵌入。？这里有一点没看明白

gnn是目前GRL中最先进的技术，最常用来构建FSLG方法的GRL主干

2.2 Few-Shot Learning

• 小样本学习(FSL)旨在从已有任务中学习通用的经验，以形成具有有限标记数据的新任务的可转移先验知识。通常使用元学习框架对模型进行训练和优化。
• 具体来说，给定一组任务T和它们的数据，在元训练阶段，目标是学习在T中所有任务中有效工作的参数${\theta }^{\ast }$
• ${\theta }^{\ast }=\underset{\theta }{\mathrm{argmin}}{\sum }_{{\mathcal{T}}_i\sim p(\mathcal{T})}\mathcal{L}\left({\mathcal{D}}_{{\mathcal{T}}_i},\theta \right)$
• ${\theta }^{\ast }$作为进一步快速适应新任务Tj的初始参数(元知识)
• ${\theta }^{\ast \ast }=\mathcal{L}\left({\mathcal{D}}_{{\mathcal{T}}_j},{\theta }^{\ast }\right)$

在FSLG模型中使用的FSL方法主要分为两类：

• metric-based methods：基于度量的方法，用于学习查询集和支持集数据之间特定于任务的相似性度量

• 

• optimization-based methods：基于优化的方法，学习初始化良好的基础学习器，它能够快速适应带有梯度计算的新的小样本任务

• 

2.3 FSLG Problems

不同的FSLG问题共享相同的FSL设置。

• $\mathcal{C}$：全部数据集的所以类别
• ${\mathcal{C}}_{\text{base }}$：训练数据
• ${\mathcal{C}}_{\text{novel}}$：测试数据
• ${\mathcal{C}}_{\text{base }}$和 ${\mathcal{C}}_{\text{novel}}$互不相交，两者构成完成的数据集。

接下来介绍三个典型的FSLG问题，分别对应三个图挖掘任务

• Problem 1. Few-Shot Node Classification：给定一个图，问题是建立一个机器学习模型，该模型在${\mathcal{C}}_{\text{base}}$中经过标记节点训练后，在只有有限数量标记节点(支持集)的情况下，可以准确预测${\mathcal{C}}_{\text{novel}}$中节点(查询集)的标签。
• Problem 2. Few-Shot Relation Prediction：给定一个图，问题是建立一个机器学习模型，该模型经过${\mathcal{C}}_{\text{base}}$中节点对关系的训练后，在只有有限数量的已知节点对(支持集)的情况下，可以准确预测${\mathcal{C}}_{\text{novel}}$中关系(查询集)的未知节点对。
• Problem 3. Few-Shot Graph Classification：给定一组图，问题是建立一个机器学习模型，该模型在${\mathcal{C}}_{\text{base}}$中经过标记图的训练后，只需有限数量的标记图(支持集)，就能准确预测${\mathcal{C}}_{\text{novel}}$中图(查询集)的标签。

除上述三个典型问题外，FSLG还存在着小样本异常检测、图上的小样本推荐等问题

3 FSLG Methods and Applications

一般来说，FSLG将GRL和FSL的优势结合在一起，用于各种应用。在本节中，我们综合回顾了当前的FSLG方法和应用，将它们系统地分为三个部分，分别对应2.3节中的三个问题:节点级FSL、边缘级FSL和图形级FSL。注意，大多数FSLG方法采用两种典型的FSL技术：基于度量的方法和基于优化的方法。因此，根据所依赖的FSL技术，将每一部分的方法归纳为两组，然后讨论相关的应用。最后，表1列出了具有代表性的FSLG研究及其开源代码/数据集。

3.1 Node-level FSL

• 节点是构成图形的基本单位。节点级学习不仅方便了各种基于节点的应用(如节点分类和异常检测)，而且为进一步的边缘级和图级应用奠定了基础。

• 然而，在实际应用中，收集节点标签往往是困难的。基于此，已经提出了许多方法来解决具有有限标记数据的节点级问题。

• Metric-based Method：基本上，基于度量的节点级FSL (MN-FSL)采用了原型网络(ProNet)的思想，原型网络是一种简单而有效的FSL框架。具体来说，MN-FSL首先利用GNN编码器学习节点嵌入，然后通过计算支持节点嵌入的均值生成每个节点类的原型。最后，MN-FSL通过计算查询节点嵌入到不同类原型的欧氏距离对查询节点进行分类。MN-FSL通过将GNN生成的节点嵌入到ProNet中，能够解决小样本节点分类问题。在此基础上，提出了许多MN-FSL的变体。

• Optimization-based Method：一般来说，基于优化的节点级FSL (optimization - based Node-level FSL, on -FSL)是基于模型无关元学习(model-agnostic meta-learning, MAML)的。具体来说，ON-FSL利用GNN编码器学习节点嵌入来进行节点分类。在优化阶段，ON-FSL首先更新每个节点类的任务相关参数，然后将所有的任务相关分类损失累加，更新任务无关参数。最后，利用基类共享的优化任务无关参数，通过对少量标记节点的梯度更新，进一步快速地用于预测新类中节点的标签。通过使用MAML优化GNN, ON-FSL跨基类学习之前的经验(元知识)，以快速适应新类，并解决小样本节点分类问题的挑战。Meta-GNN是第一项结合GNN和MAML进行节点分类的工作。

除此之外还有一些特别的工作：HG-Meta 提出通过对图结构异质性和任务多样性建模来解决异构图上的小样本点分类问题。

• Application：除了在图上做结点分类，由于异常数据的稀缺性，需要开发FSLG方法来检测图上的异常。Meta-GDN通过增加了图偏移网络的FSL框架来检测网络异常。此外，还提出了融合领域知识的FSLG模型来解决特定领域的异常检测问题。例如，Meta-AHIN将与恶意软件相关的属性和信息整合到GNN和MAML中，用于在社交编码平台(如Github)上进行恶意存储库检测。类似地，MetaHG利用与毒品相关的特征和知识，将GNN和MAML联合模型用于在社交媒体(如Instagram)上检测非法毒品贩运者。

Meta-GDN：图上的小样本异常检测方法
MetaHG：基于异构图的元知识提取用于社交媒体上的毒贩检测

3.2 Edge-level FSL

略

3.3 Graph-level FSL

略

4 FSLG Future Research Directions

FSLG是一个新兴的、快速发展的研究课题。虽然取得了重大进展，但仍然存在许多挑战。这为未来的研究方向开辟了许多途径。在本节中，我们确定并简要讨论其中一些。

• 泛化和可转移性：大多数FSLG模型过度依赖标记数据，并试图在测试阶段继承对新任务的强烈归纳偏差。然而，在不重叠的元训练数据和元测试数据之间经常存在分布转移。如果没有来自地面真实标签的监督信号，模型可能无法为新类别的测试数据学习有效的GNN。这一差距限制了元训练GNN的泛化和可转移性。幸运的是，对比学习的出现减轻了对标签数据的依赖，并从无监督的借口任务中学习标签无关但可转移的表示。因此，我们可以利用对比学习来提高现有FSLG方法的泛化和可转移能力。

• 可解释性：以往的FSLG研究都是以开发更好的性能模型为目标，而没有考虑模型解释。然而，开发具有可解释性的FSLG模型对于提高模型的可靠性和最终用户的信任至关重要。例如，FSLG的哪个部分(例如GNN、元训练或元适应)对模型性能更重要，这是值得研究和解释的，这样我们就可以更好地指导模型设计。此外，我们可以开发基于信息的方法来定量解释FSLG模型的能力。

• FSLG的图模型：虽然对于某些类型的图(如纯图、属性图)，FSLG已经得到了广泛的研究，但对于许多其他类型的图，如签名图、多路图，在这一领域的研究还远远不够。同时，现有FSLG工作采用的底层GNN模型普遍遵循同质性原则，无法自然适应连接节点不相同的异质图。因此，如何针对不同性质的图设计有原则的图模型也是FSLG领域一个很有前途的研究方向。

• FSLG理论分析：最近的一项工作经验地探索了现有FSLG方法在知识图关系预测方面的局限性，并挑战了之前工作中的隐含假设和归纳偏见。为了进一步揭示FSLG的深刻基础，对FSLG的理论分析对于我们更好地理解FSLG方法是必要的和重要的。特别是近期的一些与FSL理论相关的工作可以作为这一研究方向的基础

• 更广泛的应用：正如本工作所讨论的，FSLG不仅被应用于各种类型图上不同粒度级别的一般图挖掘任务，还被应用于一些特定领域的应用(例如，恶意软件检测、非法毒品贩运者检测)。除了这些研究之外，还值得探索FSLG在其他应用领域的潜力，如医疗保健和社会公益。例如，我们可以开发FSLG模型来捕捉患者对处方配药和再填充数据(建模为图表)的药物再填充行为(其中标签是有限的)，从而进一步对患者的异常行为(如阿片类药物过量)进行早期干预，这对患者的健康至关重要。

5 Conclusion

图表示学习(graph representation learning)和小样本学习(few-shot learning)作为人工智能领域的两个热门研究课题，为一个新的研究方向奠定了基础：图上的小样本学习(few-shot learning on graphs, FSLG)，对各个应用领域都具有重要意义。在本文中，我们首先介绍了FSLG的主要挑战和基础。然后，我们全面回顾了现有的FSLG研究，系统地将其分为三个部分，分别针对节点级、边级和图形级问题。最后，我们讨论了几个亟待解决的关键问题，并分享了我们未来的思考。