deep graph infomax
abstract
本文提出了deep graph infomax（DGI），通过无监督的方式来在图结构中学习结点表示的通用方法。DGI依赖于最大化patch representation和相关的high-level summaries of graphs之间的互信息（两者都是通过建立的图卷积网络架构得到的）。学习到的patch representation总结了兴趣结点周围的子图，于是可以被下流的结点等级的学习任务重用。与之前众多的无监督的通过GCN的先验方法相反，DGI不依赖于随机游走目标，可以被轻易地应用于transductive和inductive的学习建立过程。我们经过很多的结点分类任务的基线的验证，发现某些时候DGI甚至能够超过有监督学习的方法。
1.introduction
将神经网络推广到图结构的输入是目前机器学习的一个主要挑战。但是目前还是有监督学习发展最广，但是往往监督信息是难以获得的。
目前，主流的面向于图结构的无监督表示学习方法依赖于基于随机游走的方法，有时候简化为重构邻接信息。背后的动机是训练一个编码器来使得在输入图中的临近的结点在表示空间中还是临近的。
虽然功能强大，但是随机游走方法存在已知的局限性：随机游走目标会过度强调结构信息以及表现很严重依赖于超参数的设置。更多地，当基于图卷积的更强的编码模型的引入，不清楚随机游走目标是否真的引入了任何的有用信息，当这些encoder已经强迫一个inductive bias使得相邻的结点具有相似的表征。
在本次的工作中，我们提出了一个迭代的基于互信息的目标来进行无监督的图学习，而不是随机游走。最近，互信息的可扩展估计变得有可能并且可实现（通过互信息神经估计），基于训练一个统计型的网络来作为来自两个随机变量以及它们的边缘分布的乘积的样本的分类。DIM对高维数据来学习表征。DIM训练一个encoder model来最大化高等级的全局表征以及输入的局部（如一张图中的patch）的互信息。这激励了encoder来carry在所有位置出现的信息的类型（于是就全局相关了），于是是类label的情况。
DIM严重依赖于在图数据内容上的卷积神经网络结构，据我们所知，目前还没有工作在图输入上最大化互信息。我们将DIM中的思想推广到图数据之上，可以被视为是通过卷积神经网络捕捉的信息具有更加通用的结构。之后的实验证明，DGI学习到的表征在transductive和inductive的分类任务上都很具有竞争能力，通常超过有监督和无监督的strong基线。