斯坦福应智韬：Graph Neural Network Applications

format,png

不到现场，照样看最干货的学术报告！

嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告，能让您在业余时间的知识阅读更有价值。

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。AI未来说·青年学术论坛自 2019 年 1 月 19 日启动以来，论坛已连续举办十二期，累计吸引上万人报名参加，报名群体遍布全国三十多个省份，境内外十三个国家，四百余所高校和科研院所。第十二期AI未来说·青年学术论坛（百度奖学金博士生特别专场）已于2020年1月5日下午在北京市百度科技园 K6 报告厅举行。斯坦福应智韬为大家带来报告《Graph Neural Network Applications：Recommendation, Sciences and Beyond》。

应智韬全场报告视频

应智韬，Stanford大学第四年PhD学生，师从Jure Leskovec。主要研究方向是在各类网络结构上的机器学习算法。

报告内容：图神经网络在推荐系统、化学和物理学等领域的应用，以及图神经网络在可解释性方面的研究。

Graph Neural Network Applications: Recommendation, Sciences and Beyond

应智韬博士的报告分享主要包括图卷积神经网络的推荐系统（社交）、目标导向的生成（化学）、动态模拟（物理学和算法）以及可解释性等四个部分。

应智韬博士首先引用其导师Jure Leskovec的话“网络结构是一种描述和建模复杂系统的通用语言”作为开场，阐述了算法通用性的重要性，并引出了本场报告的主题——图神经网络。图结构的数据会以多样的形式出现在我们生活中的方方面面，比如社交网络，经济网络（公司之间的交互网络），生物医学网络（药物和疾病之间的关系网络），信息网络（文档之间的引用网络），互联网以及生物的神经网络等。

然后介绍了图卷积神经网络在推荐系统中的应用。先介绍了pin和board的概念，pin是来源于互联网上的可视化书签，可以是图像、文本或链接，而board是pins的集合（类似于收藏夹）。推荐系统可以视为用户和商品（items）之间的交互。用户使用items来构建集合，比如看电影，购买商品以及听音乐等行为中相关的items。然后可以通过用户和items交互的历史纪录来预测用户可能喜欢的items。

推荐系统中包含很多挑战，首先是数据规模非常大，以Pinterest为例，大约包含20亿个items，几亿个用户，用户之间的交互也高达上百亿，传统的协同方法很难处理这么大规模的数据。其次，图是动态的，每时每刻都有新节点加入，这里的节点可以是用户或item。此外，每个节点都有丰富的特征信息，比如用户的各种属性和图像特征信息。图卷积神经网络是一种能更好地使用属性和图结构信息的方法，并接着介绍了具有代表性的GraphSAGE（NeurlIPS 2017）方法。

GraphSAGE可以描述为三个步骤：1）采样邻居节点；2）从邻居节点中聚合特征信息；3）用聚合的信息来预测图的上下文和标签。其基本原理是先平均从邻居节点的信息，并使用神经网络对邻居节点的平均信息进行处理，可以应用于二部图，输入特征包括pin的图像嵌入和board的元数据。训练的目标是使连续固定（pinned）的 pins 有相似的特征，使用 loss 为max-margin loss。

应智韬博士在介绍完GraphSAGE的工作之后，接着介绍了另一个推荐系统方面的代表工作PinSage(KDD 2018)。该工作包括3个关键创新点：1）使用即时（on-the-fly）图卷积算法，围绕特定的节点执行局部的图卷积算法；在训练时不需要整个图；在每一次迭代时，只有源节点的表达被计算。2）使用随机游走算法来构建卷积网络，在全部的邻居节点上执行卷积的操作是不可行的，因此如何选择一个节点的可执行卷积操作的邻居节点的集合成为了研究的关键问题；个性化的PageRank算法可以帮助解决这个问题；池的重要性，定义基于重要性的邻居节点，选出随机游走时访问频次最高的前K个节点，然后对选择的节点执行池化操作，因为选出的节点不是必要的邻居节点。3）有效的 MapReduce 的推理策略，自底向上的节点表达的聚合策略适用于MapReduce，在MapReduce中可以把在所有节点上的聚合的每一步分解为三个操作，即map、join和reduce；可以避免重复的计算。此外，其他的创新点包括使用难负样本采样提升性能和使用个性化的PageRank近似的算法。接着，又介绍了PinSAGE的定量和定性的结果，在Hit rate和MRR等指标上都取得了大幅的提升。

接着，介绍了图卷积神经网络在化学制药方面的应用。以是否可以学习一个模型来生成有效、真实的和具备较好的化学性质的分子的问题作为引入，引出了可以把分子结构视为异质图结构的方法。在分子的异质图结构中，每一个节点代表一个原子，可以是碳原子、氮原子、氧原子等，边代表单键、双键等化学键。基于此种假设，我们可以通过图卷积神经网络来进行计算，通过优化一个给定的目标（比如药物相似性），遵循潜在的规则（比如化学有效性规则），通过真实的数据样本（模拟分子图结构的数据集）对模型进行训练，经过不断地优化迭代，可以生成适合作为药物的分子。

常用的训练方法是强化学习加图卷积神经网络的方法，就是通过智能体（agent）想要创造一个新的分子，可能执行的动作（action）是添加一个原子，或者在两个原子之间创造一个化学键，然后环境（environment）会有一些反馈（feedback），有些化学结构是不能成立的，并通过score值来反应生成的分子结构是否合理，通过反馈来进行强化学习的训练，执行动作的过程当中使用图卷积神经网络获得的特征表达。并以GCPN (NeurIPS 2018) 为例，描述了分子生成的过程：1)插入节点；2）通过图卷积神经网络计算状态；3）采样下一个动作；4）采取动作（检查化学有效性）；5）计算reward。GCPN的方法相比于以前的方法，有很大的提升，首先是七倍的成功率，其次是能够达到更高的score值，最后能生成一个非常符合标准的分子结构。

紧接着，介绍了模拟方面的工作：1）物理和图形的模拟，比如以粒子的集合来表达物体；2）算法模拟，学习执行图的算法。其中物理模拟主要包括：1）粒子状态，包括位置、速度、粘性、密度以及建模不同的材料等；2）图的构造，包括最近邻图和自动发现层级结构的图；3）动态图神经网络来学习粒子的表达。并展示了物理模拟的结果，其相关的研究成果仍未发表（已提交）。

然后，介绍了学习执行算法，主要包括以下几个要点：1）图神经网络是解决图结构问题的有力的表达工具；2）通常直接应用于学习输入-输出的映射；3）有潜力给网络额外的指导，训练这个网络来预测中间的步骤，并且使用经典算法进行输出。并介绍了模拟学习Bellman-Ford算法（经典图算法）的案例(ICLR 2019)，可以发现传统图算法和图神经网络的算法之间有非常密切的关系，通过类比的关系，可以设计一个图神经网络，使得它能够学习多种图算法，通过算法间共享的Processor网络，算法间独立的Endoder、Decoder和Termination网络来进行学习，在达到终止条件之前一直处于不断学习的状态。可以把该架构泛化到不同的算法、图类型和数据规模。

应智韬博士最后一部分的分享内容为可解释性的工作，这是一个比较开放的研究课题。常见的可解释性的问题包括：1）为什么商品这样推荐给用户的？2）为什么分子是诱变的？3）为什么这个用户被分类为不诚实？解释应该是关于两个方面：1）结构的解释，是什么样的特殊的网络结构使得有这样的预测；2）特征的解释，是什么样的特征导致这样的预测结果。在解释时应该从这两个方面同时进行，并提出了GNNExplainer (NeurlIPS 2019) 的方法，该方法可以在在一个非常复杂的网络当中发现一个非常相关的结构，使得它能够解释图神经网络的预测。

最后，应智韬博士分享了自己的科研主页(http://cs.stanford.edu/~rexy)，并对自己的导师和合作伙伴表达了感谢。更多精彩内容请关注视频分享~