《Modeling Relational Data with Graph Convolutional Networks》
本论文发表在arxiv2017。
论文思路：
论文引入了关系图卷积网络(R-GCNs)，并将其应用于两个标准知识库上完成任务:链接预测(恢复缺失的事实，即主题-谓词-对象三元组)和实体分类(恢复缺失的实体属性)。RGCNs是专门为处理具有高度多关系数据特征的现实知识库。证明了R-GCNs作为实体分类的独立模型的有效性。进一步证明通过对诸如DistMult这样的链路预测因子分解模型进行丰富，使其在关系图的多个推理步骤上积累证据，可以显著改进这些模型。
论文模型构建：
模型的主要动机是作为GCNs的一个扩展，在局部图邻域上运行扩展到大规模关系型数据。
GCN模型如下：
其中Mi表示节点vi的传入消息集，通常选择与传入边缘集相同。gm(·，·)通常被选择为(特定于消息的)类神经网络函数或简单的线性变换gm(hi, hj) = Whj，权重矩阵W
本文R-GCN模型：
1.Relational graph convolutional networ
在这些架构的驱动下，定义了以下简单的传播模型，用于计算关系图(有向和标记)中vi表示的实体或节点的前向更新:
直观地，(2)通过归一化和累加相邻节点的变换后的特征向量。与常规的GCNs不同，论文引入了特定关系的转换，即依赖于边缘的类型和方向。为了确保在第l+1层的节点的表示也可以由对应的在第l层的表示通知，则向数据中的每个节点添加一个特殊关系类型的单一自连接。注意，我们可以选择更灵活的函数，例如多层神经网络(以牺牲计算效率为代价)，而不是简单的线性消息转换。我们把这个留给以后的工作。神经网络层更新包括对图中的每个节点并行计算(2)。在实际应用中，利用稀疏矩阵乘法可以有效地实现(2)，避免对邻域进行显式求和。可以堆叠多个层，以便跨几个关系步骤实现依赖关系。我们将这种图编码模型称为关系图卷积网络(R-GCN)。R-GCN中单个节点更新的计算图模型如图2所示。
2.Regularization
将(2)应用于高度多关系数据的一个核心问题是，随着图中关系的数量的增加，参数的数量也在快速增长。在实践中，这很容易导致对罕见关系的过度拟合和对非常大的模型的过度拟合。
解决办法是：介绍了两种正则化R-GCN层权值的方法:基函数分解法和块对角分解法。根据基分解，每个W(l)r定义为:
基函数分解(3)可以看作是不同关系类型之间有效权值共享的一种形式，而块分解(4)可以看作是每个关系类型的权值矩阵上的稀疏约束。块分解结构编码了一种直接模型，即潜在的特征可以被分组成一组变量，这些变量在组内的耦合比组间的耦合更紧密。这两种分解都减少了学习高度多关系数据(例如实际知识库)所需的参数数量。同时，我们期望基参数化可以减轻对稀有关系的过度拟合，因为稀有关系和更频繁的关系之间共享参数更新。
然后，整个R-GCN模型采用以下形式:我们将(2)中定义的L层堆叠起来 即上一层的输出作为下一层的输入。如果没有其他特征，则可以为图中的每个节点选择第一层的输入作为唯一的一个热编码向量。对于块表示，我们通过一个线性变换将这个热编码向量映射到稠密表示。虽然我们在本文中只考虑了这样一种无特征的方法，但我们注意到Kipf和Welling(2017)表明，这类模型可以使用预定义的特征向量(例如，与特定节点关联的文档的袋式描述)。
论文总结：
我们的工作可以通过几种方式加以扩展。例如，图元自编码模型可以与其他因子分解模型结合考虑，如ComplEx (Trouillon et al. 2016)，它更适合于建模非对称关系。在R-GCNs中集成实体特性也很简单，这对于链接预测和实体分类问题都是有益的。为了解决我们方法的可伸缩性，探索子抽样技术是值得的，例如在Hamilton, Ying和Leskovec(2017)中。最后，它有望取代目前的求和形式具有依赖于数据的注意机制的相邻节点和关系类型。除了建模知识库之外，R-GCNs还可以推广到其他已经证明关系分解模型有效的应用领域(例如关系提取)。