《learning graph embedding with adversarial training methods》论文阅读

发表于IEEE T CYBERNETICS 2020.

abstract

众多的图嵌入任务关注于保存图结构或者最小化图数据上的重构损失。这些方法忽略了latent code的embedding distribution，可能会导致许多情况下较差的representation。本文中提出了一种图嵌入的adversarially regularized framework（对抗性正则化框架）。the adversarial training principle被用于使latent code来匹配一个prior gaussian或者uniform distribution。基于这个框架我们发展了两种对抗模型的变体：ARGA，ARVGA。众多的实验结果证明了我们方法的有效性。

key point：以往的图嵌入方法忽略了latent code的embedding distribution，可能会导致许多情况下较差的representation。（在学习图嵌入的过程中需要考虑到合理的分布）。

1. introduction

我们框架不仅仅是需要最小化拓扑结构的重构损失，而且需要使得学习到的latent embedding来匹配一个先验分布。

4.proposed algorithm

adversarially regularized graph autoencoder(ARGA):

包括两个部分:graph convolutional autoencoder（输入为图A以及节点内容X，用于学习一个latent representation Z）、adversarial regularization（用于通过对抗训练模块来使得latent codes匹配一个先验分布，判别现在$z_i\in Z$是来自于encoder还是来自于先验分布）。

4.1 graph convolutional autoencoder

两个基础性的问题：1.如何在encoder中同时综合结构信息以及内容信息 2.哪种信息需要通过decoder进行重构。

graph convolutional encoder model $G(X,A)$:
频域卷积过程:

$Z^{(l+1)}=f(Z^{(l)},A|W^{(l)}),$

其中$Z^{(l)},Z^{(l+1)}$分别是卷积的输入以及输出，$A$为定义的邻接矩阵，$Z^0=X\in {\mathbb{R}}^{n\times m}$,$n,m$分别代表节点的数目以及特征的数目。

扫描二维码关注公众号，回复： 14761385 查看本文章

$f(Z^{(l)},A|W^l)=\varphi ({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{Z}^{(l)}{W}^{(l)}),$

$G(X,A)$使用了两层的GCN卷积,我们的文章中，还发展了两种编码模型的变体：graph encoder，variational graph encoder。

graph encoder定义如下:

$$\begin{gathered} Z^{(1)}=f_{Relu}(X,A|W^{(0)}); \\ {Z}^{(2)}=f_{linear}(Z^{(1)},A|W^{(1)}). \end{gathered}$$

即graph convolutional encoder $G(Z,A)=q(Z|X,A)$,同时编码了图结构以及节点内容为一个表征$Z=q(Z|X,A)=Z^{(2)}.$

variational graph encoder定义为一个inference model:

$$\begin{gathered} q(Z|X,A)=\prod _{i=1}^{n}q(z_i|X,A), \\ q(z_i|X,A)=\mathcal{N}(z_i|{\mu }_i,diag({\sigma }^2)). \end{gathered}$$

其中$\mu =Z^{(2)}$是mean vectors $z_i$的矩阵，$log\sigma =f_{linear}(Z^{(1)},A|W^{{}^{\prime }(1)})$其中$W^{{}^{\prime }(1)}=W^{(0)}$，和第一层的$\mu$共享权重。

decoder model:
用于重构图数据。ARGA decoder $p(\hat{A}|Z)$预测在两个节点之间是否存在一个link。更具体来说，我们训练一个link prediction layer基于图嵌入：

$$\begin{gathered} p(\hat{A}|Z)=\prod _{i=1}^n\prod _{j=1}^{n}p({\hat{A}}_{ij}|z_i,z_j); \\ p({\hat{A}}_{i,j}=1|z_i,z_j)=sigmoid(z_i^T,z_j), \end{gathered}$$

这里的预测值$\widehat{(}A)$应该和ground truth $A$接近。

graph autoencoder model:
embedding $Z$以及重构图$\hat{A}$可以被表示如下:

$\hat{A}=sigmoid(Z{Z}^T),Z=q(Z|X,A).$

optimization:
对于graph encoder，我们最小化图数据的重构损失:

$L_0={\mathbb{E}}_{q(Z|(X,A))}[logp(A|Z)]$

对于variational graph encoder，我们优化变分下界：

$L_1={\mathbb{E}}_{q(Z|(X,A))}[logp(A|Z)]-KL[q(Z|X,Z)||p(Z)]$

其中$p(Z)$为先验分布，可以是uniform distribution或者gaussian distribution

$p(Z)={\prod }_{i}p(z_i)={\prod }_i\mathcal{N}(z_i|0,I).$

4.2 adversarial model $\mathcal{D}(Z)$

我们的模型的基础idea是使得潜在分布$Z$匹配一个先验分布，通过对抗训练模型来实现。adversarial model基于标准MLP建立，输出层只有一维with a sigmoid function。adversarial model acts为一个辨别器来辨别一个latent code是来自于the prior $p_z$(positive)或者graph encoder $G(X,A)$(negative)。通过最小化二分类器的交叉熵，embedding 最终会在训练过程中被regularized 以及improved,cost被定义如下:

$-\frac{1}{2}{\mathbb{E}}_{z\sim p_z}log\mathcal{D}(Z)-\frac{1}{2}{\mathbb{E}}_{x}log(1-\mathcal{D}(G(X,A))),$

$p_z$为先验分布。

adversarial graph autoencoder model：

训练带有辨别器$\mathcal{D}(Z)$的encoder model：

$\underset{G}{\min }\underset{\mathcal{D}}{\max }{\mathbb{E}}_{z\sim p_z}[log\mathcal{D}(Z)]+{\mathbb{E}}_{x\sim p(x)}[log(1-\mathcal{D}(G(X,A)))].$

其中$G(X,A)$为generator，$\mathcal{D}(Z)$为discriminator。

4.3 algorithm explanation

4.4 decoder variations

在ARGA和ARVGA模型中，decoder只是embedding z的点积的link prediction layer。但是decoder也可以是图卷积层或者链接预测层与图卷积decoder层的组合。

GCN decoder for graph structure reconstruction(ARGA_GD):
修改encoder通过添加两个图卷积层来重构图结构。这种方法的变体被称为ARGA_GD。在这种方法中，decoder的输入是encoder的embedding，图卷积的decoder的构建过程如下:

$$\begin{gathered} Z_D=f_{linear}(Z,A|W_D^{(1)}), \\ O=f_{linear}(Z_D,A|W_D^{(2)}), \end{gathered}$$

其中，$Z,Z_D,O$分别是从图encoder中学习得到的embedding，图decoder第一层和第二层的输出。重构损失计算如下：

$L_{ARGA\_GD}={\mathbb{E}}_{q(O|(X,A))}[logp(A|O)]$

GCN decoder for both graph structure and content information reconstruction(ARGA_AX):

我们修改了第二层图卷积层的维度为与每个节点关联特征的数目，因此第二层的输出为$O\in {\mathbb{R}}^{n\times f}\ni X.$重构损失由两种error构成。首先是重构损失：

$L_A={\mathbb{E}}_{q(O|(X,A))}[logp(A|O)],$

之后是节点内容的重构损失:

$L_X={\mathbb{E}}_{q|(O|(X,A))}[logp(X|O)].$

最终的重构损失为:$L_O=L_A+L_X.$

5.experiments