【论文阅读】CompGCN（多关系GCN模型）__COMPOSITION-BASED MULTI-RELATIONAL GRAPH CONVOLUTIONAL NETWORKS

【论文阅读】CompGCN__COMPOSITION-BASED MULTI-RELATIONAL GRAPH CONVOLUTIONAL NETWORKS

1. 来源

• ICLR 2020
  
• code：http://github.com/malllabiisc/CompGCN
• 原文地址：https://arxiv.53yu.com/pdf/1911.03082.pdf

2. 介绍

图卷积网络（GCNs）最近被证明在图结构数据建模方面是非常成功的。

• 然而，主要关注的焦点是处理简单的无向图。多关系图是一种更一般和更普遍的图形式，其中每条边都有一个与之相关的标签和方向。大多数现有的处理这类图的方法都存在过度参数化的问题，并且仅限于学习节点的表示。

在本文中，作者提出了一种新的图卷积框架，它将节点和关系联合嵌入到一个关系图中。

• COMPGCN利用了知识图嵌入技术中的各种实体-关系组合操作，并根据关系的数量进行扩展。
• 它还推广了几个现有的多关系GCN方法。
• 在节点分类、链路预测和图分类等多个任务上评估了我们提出的方法，并取得了明显的优越结果。
• 并提供了COMPGCN的源代码来促进可重复性的研究。

3. 背景

4. 方法介绍

在本节中，将详细描述作者提出的方法COMPGCN。整个体系结构如图1所示。

用G =（V，R，E，X，Z）表示多关系图，

• 其中 Z∈|R|×d0表示初始关系特征。
• 模型是由使用切比雪夫多项式的GCNs的一阶近似所激发的。
• 继马切吉亚尼和提托夫（2017）之后，作者还允许有向边中的信息沿着两个方向流动。

因此，用相应的逆边和关系来扩展E和R，即，

• 对于边:
  
• 而对于关系: R0 = R∪R_inv ∪ {T}，其中 R_inv = {r−1|r∈R} 表示逆关系，T 表示自循环。

4.1 基于关系的组成

与大多数现有的方法只嵌入节点图，COMPGCN 学习d维表示 $h_r\in R^d$，∀ r∈R连同节点嵌入 $h_v\in R^d$，∀ v∈ V。

• 关系表示向量缓解过度参数化的问题当应用GCN在关系图中。
• 此外，它允许COMPGCN利用任何可用的关系特性(Z)作为初始表示。

为了将关系嵌入纳入GCN公式中，作者利用知识图嵌入方法中使用的实体关系组合操作，其形式：

这里，φ： R d×Rd→Rd是一个组合算子，s，r，和o表示知识图中的主体、关系和对象，$e_{\cdot }\in R^d$ 表示它们对应的嵌入。在本文中，作者将自己限制在非参数化的操作中，如减法、乘法、循环相关。然而，压缩可以扩展到参数化操作，如神经张量网络（NTN）和ConvE。作者把他们的分析作为未来的工作。

组合操作的选择对于决定学习嵌入的质量很重要。因此，可以采用未来开发的知识图的高级组合操作，进一步提高模型的性能。

4.2 COMPGCN更新方程

GCN更新方程(1)在第3节中定义的，可以重写为，

其中N (v)是节点v的输出边的邻居节点。

• 由于这个公式存在过度参数化问题，在模型中，作者根据上面定义的关系 r 对相邻节点 u 进行组合(φ)。这使得模型在特征维度的线性（O（|R|d））时能够感知关系。
• 此外，为了不同地处理原始边、逆边和自边，作者为每个边定义了单独的过滤器。

新的更新方程为：

式中，xu、zr分别表示节点 u 和关系 r 的初始特征，hv表示节点 v 的更新表示，Wλ ( r ) ∈Rd1×d0为关系类型的特定参数。在模型中，作者使用方向特定的权重，即λ( r ) = dir( r )，给定为：

此外，在模型中，在等式（2）中定义的节点嵌入更新之后、对关系嵌入也进行了转换如下：

其中 $W_{rel}\in R^{d1\times d0}$是一个可学习的变换矩阵，它将所有的关系投影到与节点相同的嵌入空间中，并允许它们在下一层中使用。在表1中，对COMPGCN和其他现有方法的特征和参数复杂性进行了对比。

• 随着关系数量的增加而扩展。为了确保COMPGCN随着关系数量的增加而增加，作者使用了之前工作，施氏库尔等人提出的基础公式的一种变体。它们不是独立地为每个关系定义一个嵌入，而是被表示为一组基向量的线性组合。形式上，设{v1，v2，…，vB}是一组可学习的基向量。然后，初始关系表示形式为：
  
  这里，${\alpha }_{br}\in R$ 是关系和基础特定的可学习标量权值。

• 与关系-GCN的比较。请注意，这与施利特等人（2017）的基公式不同，后者为每个GCN层定义了一组单独的基矩阵。相反，COMPGCN使用嵌入向量而不是矩阵，并且只为第一层定义基向量。后一层根据公式4通过转换来共享这些关系。这使得我们的模型比关系-GCN更有参数效率。

  • 我们可以将方程2的公式推广到我们有k-堆叠模型的情况。设 $h_v^{k+1}$表示在k层后得到的节点v的表示，定义为，
    
  • 同样地，设 $h_r^{k+1}$ 表示k个层后的一个关系r的表示。然后，
    

命题4.1。模型概括了以下基于图卷积的方法： KipfGCN（Kipf &韦林，2016）、关系GCN（GCN等人，2017）、定向GCN（马切吉亚尼和泰托夫，2017）和加权GCN（Shang等人，2019）。

• 证明。对于Kipf-GCN，这可以通过使方程5中的权重（Wλ( r )）和组合函数(φ)关系不可知，而得到，即Wλ( r ) = W和φ（hu，hr）= hu。对于如表2所示的其他方法，也可以得到类似的减少。
  

5. 实验

• link prediction
  
  

• node/graph classification
  

6. 总结

在本文中，作者提出了一种新的基于图卷积的多关系图框架 COMPGCN，该框架利用知识图嵌入技术中的各种组合算子将节点和关系联合嵌入到图中。

• 方法推广了几种现有的多关系GCN方法。
• 此外，模型通过跨层共享关系嵌入和使用基分解，缓解了过参数化的问题。
• 通过对知识图链接预测、节点分类和图分类任务的大量实验，证明了模型方法比现有的基于GCN的方法的有效性，并证明了其随着关系数量增加的可扩展性。