Adversarial Network Embedding
摘要
现有的方法可以有效地将结构属性编码成低维向量表示，但是，他们大多缺少加强表示鲁棒性的额外约束。本篇文章提出一个对抗网络表示（ANE）框架，利用对抗学习原则来规划表示学习。框架由两部分组成，一个结构保留部分和一个对抗学习部分，前者旨获取网络结构属性，后者致力于学习鲁棒性表示，使结构保留部分生成的网络表示服从先验分布。
介绍
网络表示是一个具有挑战性的研究难题。因为图结构数据的高维、稀疏和非线性的原因。尽管现有的方法在结构保留方面很有效，但是缺乏鲁棒性约束，当处理具有噪声的网络数据时，这些无监督学习网络表示往往表现不好。因此，在表示学习过程中考虑一些不稳定因素是至关重要的。无监督中加强表示学习鲁棒性的一个著名的技术是降噪自编码器。它通过从输入中剔除噪音来获得稳定且鲁棒的表示，这也是降噪的标准。近期，许多生成对抗模型被提出学习鲁棒且稳定的表示，但是，这些模型中没有一个用来处理图数据。本文提出的ANE，除了优化保留结构的目标，还有给不稳定数据建模的对抗学习过程。ANE的结构保留部分，我们提出一个适合于框架的inductive DeepWalk，它保留了随机游走搜索节点的邻接信息，并且优化相似目标函数，但是用一个参数函数生成表示向量。对抗学习部分由生成器和 辨别器组成。
相关工作
网络表示方法
无监督表示学习方法可以分为三类：概率方法、基于矩阵分解的方法和基于自动编码器方法。概率方法包括DeepWalk、Line、node2vec等。DeepWalk首先通过随机游走出原图中获得节点序列，然后把词序列看成节点序列并利用Skip-gram模型学习潜在表示。Line保留一阶、二阶近似性。node2vec中提出具有偏置的随机游走来决定邻接结构。
局域矩阵分解的方法首先通过预处理邻接矩阵获取高阶近似性，然后分解处理好的矩阵获得图表示。例如，GraRep基于DeepWalk中的k步随机游走和k步相似转换矩阵的原则并且采用PPMI作为预处理。HOPE预处理具有高阶相似性的有向图。
自动编码器为了重构结构信息，在隐含空间里保留尽可能多的信息。DNGR首先计算PPMI矩阵，然后通过堆叠降噪自动编码器学习表示。SDNE是在堆叠自动编码器的损失函数中添加约束，要求连接的节点具有相似的表示向量。
生成对抗网络
GAN是深度生成模型，但是这个框架由于没有明确的推理结构从而不能直接用于无监督表示学习。对于这个问题有三种解决办法，第一，将一些结构集成到框架中做推理，例如，将数据采样映射到特征空间。第二种是从辨别器的隐藏层中生成表示，如，DCGA。第三种的思想是利用对抗学习过程正则化表示。例如，对抗自动编码器。
对抗网络表示
ANE主要由结构保留部分和对抗学习部分组成。本文提出一个inductive DeepWalk用于结构保留，保留了搜索节点邻近信息的随机游走并且优化相似目标函数，但是采用参数函数G（·）生成表示向量。需要强调的是，函数G（·）由结构保留部分和对抗学习部分共享。这两个组成部分在训练过程中将有选择的更新函数G（·）。
图预处理
在应用中，信息网络往往过于稀疏从而可能会导致过拟合，为了解决这个问题，一个通用的方法是用高阶相似性预处理邻接矩阵，将邻接矩阵转换为shifted PPMI矩阵。
结构保留模型
许多现有地 无监督网络表示学习方法是通过表示查找作为表示生成的转换方法，例如DeepWalk和LINE，不适合于对抗学习部分的生成器，因为我们用参数生成器作为标准的GAN。有参数生成器，我们提出的网络可以很好的处理就有节点属性的网络，并且通过深度学习模型获得网络的非线性属性。本片文章提出一个inductive DeepWalk适合于有权图和无权图。
IDW IDW和DeepWalk一样通过随机游走采样节点序列。为了提高效率，在每一次采样步骤中使用alias表方法从候选节点集中采样节点，每个采用步骤只花费O（1）时间，然后正节点对从节点序列中构建。对于每一个节点序列W，我们定义正target-context节点对是集。
和Skip-gram类似，一个节点Vi有两个不同的表示，一个是目标表示ui，一个上下文表示ui'，分别由目标生成器G（·；θ1）和上下文生成器F（·；θ1'）这些生成器是由神经网络实现的参数函数。为了获得网络结构属性，我们用负采样的方法为每个目标-上下文节点对定义如下的目标函数：
其中是一个sigmoid函数，K是负采样数量。
对抗学习
对抗学习部分用来正则化表示，不同于GAN，在我们这个框架中，先验分布p（z）是生成真实数据的数据分布，而表示向量i假采样。在训练构成中，辨别器将先验采样和表示向量区分开。辨别器函数是：
生成器用来改进下面的结果：
在对抗学习过程中最重要的是选择一个正确的先验分布，在许多GAN实践中，先验分布通常被定义为均匀分布或高斯分布。
结论
提出了一个网络表示框架，用来学习鲁棒的图表示。框架由两部分组成，一个结构保留和一个对抗学习。结构保留部分，我们提出一个inductive DeepWalk来获取网络结构属性。对抗学习阶段，我们建立一个最大最小优化问题，将先验分布加到表示上从而加强鲁棒性。网络可视化和节点分类的应用证明了我们提出方法的有效性。