SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
一、 ABSTRACT
提出了一种可扩展的图结构数据的半监督学习方法，该方法基于直接在图上操作的卷积神经网络的有效变体。
通过光谱图卷积的局部一阶近似来激发我们的卷积体系结构的选择。我们的模型在图边的数量上呈线性扩展，并学习编码局部图结构和节点特征的隐藏层表示。在引文网络和知识图数据集上的许多实验中，我们证明了我们的方法显著优于相关方法。
二、INTRODUCTION
图（如引文网络）中对节点（如文档）进行分类的问题，其中标签只适用于节点的一个小子集。这个问题可以被定义为基于图的半监督学习，其中标签信息通过某种形式的显式基于图的正则化在图上进行平滑。
例如在损失函数中使用图拉普拉斯正则化项
l0表示监督损失w.r.t.图中标记的部分，f（·）可以是一个神经网络类可微函数，λ是一个权重因子，X是一个节点特征向量Xi的矩阵。∆= D -A表示无向图G =（V，E）的非标准化图拉普拉斯行列式，有N个节点vi∈V，边（vi，vj）∈E，一个邻接矩阵A∈RN×N（二进制或加权）和一个度矩阵Dii = Pj Aij。等式的配方1依赖于图中连接的节点可能共享同一个标签的假设。
缺点：
这种假设可能会限制建模能力，因为图边不一定需要编码节点相似性，但可能包含额外的信息。
改进：
直接使用神经网络模型f（X，A）对图结构进行编码，并对所有带有标签的节点的监督目标l0进行训练，从而避免了损失函数中显式的基于图的正则化。对图的邻接矩阵进行条件反射f（·）将允许模型从监督损失l0中分配梯度信息，并使其能够学习有标签和没有标签的节点的表示。
三、贡献
1.介绍了一个简单而表现良好的分层传播规则，它直接作用于图，并展示了如何从谱图卷积的一阶近似中激发它。
2.演示了这种形式的基于图的神经网络模型如何用于图中节点的快速和可扩展的半监督分类。在许多数据集上的实验表明，模型在分类精度和效率（以挂钟时间测量）方面都优于最先进的半监督学习方法。
四、GCN
FAST APPROXIMATE CONVOLUTIONS ON GRAPHS
提供一个特定的基于图的神经网络模型f（X，A）的理论动机，我们将在本文的其余部分中使用它。我们考虑了一个具有以下分层传播规则的多层图卷积网络（GCN）：
˜A=A+IN是添加了自连接的无向图G的邻接矩阵。IN是单位矩阵，˜Dii=Pj˜Aij和W (l)是一个特定于层的可训练权重矩阵。σ（·）表示一个激活函数，如ReLU（·）=max（0，·）。H (l)∈RN×D是第l层激活矩阵；H (0) = X在下面，我们证明了这个传播规则的形式可以通过图上局部谱滤波器的一阶近似来激发。
SPECTRAL GRAPH CONVOLUTIONS（谱图卷积）
图上的谱卷积，定义为信号x∈RN（每个节点的标量）与在傅里叶域中由θ∈RN参数化的滤波器gθ = diag(θ)的乘积，即。:
LAYER-WISE LINEAR MODEL（线性层模型）
因此，可以通过叠加等式形式的多个卷积层来建立基于图卷积的神经网络模型，每一层之后都是一个点向的非线性。现在，假设我们将层级卷积操作限制为K=1(见等式5)，即一个是线性w.r.t.的函数因此是图拉普拉斯谱上的一个线性函数。
通过叠加多个这样的层来恢复丰富的卷积滤波函数，但我们不局限于切比雪夫多项式给出的显式参数化。我们直观地期望，这种模型可以缓解节点度分布非常宽的图的局部邻域结构的超拟合问题，如社交网络、引文网络、知识图和许多其他真实世界的图数据集。
此外，对于固定的计算预算，这种分层线性公式允许我们建立更深层次的模型，这种实践已知可以提高许多领域的建模能力。
在这个GCN的线性公式中，我们进一步近似于λmax≈2，因为我们可以预期，神经网络参数将在训练过程中适应这种规模的变化。在这些近似下，等式5可简化为：
有两个自由参数θ00和θ01。过滤器参数可以在整个图上共享。连续应用这种形式的滤波器，然后有效地卷积一个节点的k阶邻域，其中k是神经网络模型中连续的滤波操作或卷积层的数量。
在实践中，进一步限制参数的数量以解决过拟合和最小化每层的操作数（如矩阵乘法）是有益的。这就给我们留下了以下的表达式：
我们可以将这个定义推广到一个信号X∈RN×C，具有C输入通道（即每个节点的C维特征向量）和F滤波器或特征映射如下：
其中，Θ∈RC×F现在是一个滤波器参数的矩阵，Z∈RN×F是卷积信号矩阵。这种滤波操作的复杂度为O（|E|F C），因为˜AX可以有效地实现为稀疏矩阵与密集矩阵的乘积。
SEMI-SUPERVISED NODE CLASSIFICATION
半监督节点分类
引入了一个简单而灵活的模型f（X，A），用于在图上有效的信息传播，我们可以回到半监督节点分类问题。正如引言中所述，我们可以通过调节我们的模型f（X，A），来放松在基于图的半监督学习中所做的某些假设。我们期望这种设置在邻接矩阵包含数据X中不存在的信息的场景中特别强大，例如引文网络中的文档之间的引文链接或知识图中的关系。整个模型是一个用于半监督学习的多层GCN，如图1所示。
五、EXPERIMENTS
我们在许多实验中测试了我们的模型：引文网络中的半监督文档分类，从知识图中提取的二部图中的半监督实体分类，对各种图传播模型的评估和对随机图的运行时分析。
datasets
六、RESULTS
结果汇总见表2。报告的数字以百分比表示分类准确率。对于ICA，我们报告了100次随机节点排序运行的平均精度。所有其他基线方法的结果均来自行星类动物的论文（Yang et al.，2016）。行星*表示在论文中给出的变体中各自数据集的最佳模型。
EVALUATION OF PROPAGATION MODEL
我们在引文网络数据集上比较了我们提出的每层传播模型的不同变体。我们遵循上一节中描述的实验设置。结果汇总见表3。我们原来的GCN模型的传播模型用重整化技巧（粗体）表示。在所有其他情况下，两个神经网络层的传播模型都被传播模型下指定的模型所取代。报告的数字表示使用随机权重矩阵初始化的100次重复运行的平均分类精度。在每层有多个变量Θi的情况下，我们对第一层的所有权值矩阵施加L2正则化。
七、CONCLUSION
介绍了一种新的图结构数据的半监督分类方法。我们的GCN模型使用了一个有效的分层传播规则，该规则基于图上的谱卷积的一阶近似。在许多网络数据集上的实验表明，所提出的GCN模型能够同时对图的结构和节点特征进行编码，并可用于半监督分类。在这种情况下，我们的模型在计算效率上显著优于最近提出的几种方法，同时也非常有效。