许多涉及各种性质的交易网络以及社连接边动，以及与现实世界问题相关问题都是动态的，可以建模为图结构，其中节点和边随着时间的推移而变化。在这篇文章中，我们描述了时间图网络，这是用于在动态图上进行深度学习建模的通用框架。
图神经网络（GNN）相关的研究逐年激增，已成为今年机器学习研究中最热门的主题之一。GNN最近在生物学，化学，社会科学，物理学等领域的问题上取得了一系列成功。到目前为止，GNN模型主要建模和处理不随时间变化的静态网络。但是，许多现实世界中的图网络却是动态的，并且随时间变化，典型的例子如社交网络，金融交易和推荐系统。在许多情况下，正是这种系统的动态行为传达了重要的信息，否则，如果人们仅考虑静态图，则会丢掉这些信息。
Twitter用户的动态网络，与推文进行连接边并互相关注。所有边都有时间戳。给定这样的动态图，我们希望预测未来的连接边，例如，用户将喜欢哪些推文或他们将关注谁。
动态图可以表示为定时事件的有序列表或异步“流”，例如节点和边的添加或删除[1]。像Twitter这样的社交网络是一个典型的例子：当一个人加入平台时，会创建一个新节点。当他们关注另一个用户时，将创建一条新的关注边。当他们更改配置文件时，将更新该节点。
该事件流由编码器神经网络编码，该编码器神经网络为图的每个节点生成时间相关的embedding。然后可以将embedding的内容馈送到为特定任务设计的解码器中。比如说，可以通过尝试回答这么一个问题，来预测未来的连接边作用，问题是：在时间t处节点i和j之间具有边的概率是多少？回答此问题的能力对于推荐系统至关重要，例如，给社交网络用户推荐什么内容或预测该用户喜欢关注什么内容。下图说明了这种情况：
一个TGN编码器的例子，拥有七条可见边（时间戳为t₁至t₇）的动态图，目的是预测在时间t₈（灰色边）时，节点2和4之间的未来存在连接关系的概率。为此，TGN在时间t1时，计算节点2和4embedding表示。然后将这些embedding连接起来并输入解码器（例如MLP），该解码器输出存在连接边的概率。
上述场景中的关键部分是编码器，它可以与任何解码器同时训练。在前述的连接边预测任务上，可以以自监督的方式进行训练：在每个时期，编码器均按时间顺序处理事件，并根据先前的事件预测下一次连接边[2]。
时间图网络（TGN）是我们在Twitter上与Fabrizio Frasca，Davide Eynard，Ben Chamberlain和Federico Monti等同事共同开发的一种通用编码器体系结构[3]。该模型可以应用于以事件流表示的动态图上的各种学习问题。简而言之，TGN编码器通过基于节点的连接边创建节点的压缩表示并在每次事件发生时时更新它们的表示。为此，TGN具有以下主要组成部分：
Memory单元。Memory存储所有节点的状态，充当节点过去连接边的压缩表示。它类似于RNN的隐藏状态。然而，我们对每个节点i用一个独立的状态向量si（t）表示。当出现新节点时，我们添加一个初始化为零的新的状态向量。而且，由于每个节点的Memory只是状态向量（而不是参数），因此当模型吸收新的连接边时，也可以在测试时进行更新。
消息功能函数：更新Memory的主要机制。给定节点i和j在时间t的连接边，消息函数计算两条消息（一条用于i，一条用于j），用于更新Memory。这类似于在消息传递图神经网络中计算的消息[4]。该消息是在连接边之前的时间t⁻，连接边时间t和边缘特征[5] 的情况下节点i和j的Memory的函数：
Memory更新组件：用于使用新消息更新Memory。该模块通常实现为RNN。
鉴于节点的Memory是随时间更新的向量，最直接的方法是直接将其用作节点embedding。但是，在实践中，由于陈旧性（同步更新时间不一致导致的状态漂移）问题，这并不合适：鉴于仅当节点参与连接边时才更新Memory，因此节点长时间不活动会导致其Memory过时。举个例子，想想一个用户离开Twitter几个月。当用户返回时，他们可能已经在此期间产生了新的兴趣，因此对他们过去活动的Memory不再重要。因此，我们需要一种更好的方法来计算embedding。
embedding。一种解决方案是查看其节点邻居。为了解决陈旧性问题，embedding模块通过在该节点的时空邻居上执行图聚合来计算该节点的时间embedding。即使节点已处于非活动状态一段时间，它的某些邻居也可能处于活动状态，并且通过聚合其Memory，TGN可以为该节点计算最新的embedding。在我们的例子中，即使用户不使用Twitter，他们的朋友仍会保持活动状态，因此当他们返回时，朋友的最近活动可能比用户自己的历史记录更具相关性。
图embedding模块通过在其时间邻域上执行聚合来计算目标节点的embedding。另外，在上述图中，在某一时间t大于计算节点1的embedding时间节点t₂，t₃和t₄ ，但小于t₅，时间邻域将仅包括时间t之前发生的边。因此，节点5的边不参与计算，因为将来会发生这种情况。相反，embedding模块会根据邻居2、3和4的特征（v）和Memory（s）以及边上的特征进行聚合，以计算节点1的表示形式。实验是图注意力，它能够根据邻居的Memory，特征和互动时间来了解哪个邻居最重要。
下图总结了TGN对一批训练数据执行的总体计算过程：
TGN对一批训练数据执行的计算。一方面，embedding由embedding模块使用时间图和节点的Memory（1）生成。然后将embedding用于预测批处理相互作用并计算损失（2、3）。另一方面，这些相同的连接边也用于更新Memory（4、5）。
通过查看上图，你可能想知道如何训练与Memory相关的模块（消息功能函数，消息聚合器和Memory更新组件），因为它们似乎并不直接影响损失函数，因此不会进行梯度更新。为了使这些模块能够影响损失函数，我们需要在预测批处理连接边之前更新Memory。但是，这将导致泄漏，因为Memory已经包含有关我们要预测的信息。我们提出的解决此问题的策略是使用来自先前的消息来更新Memory批处理，然后预测连接边。下图展示了TGN的操作流程，这是训练与Memory相关的模块所必需的：
训练与Memory相关的模块所需的TGN操作流程。引入了一个新的组件，即原始消息存储库，该存储库存储了必要的信息以计算消息（我们称为原始消息），以处理模型过去处理过的连接边。这允许模型将连接边带来的Memory更新延迟到以后的batch数据。首先，使用从先前batch数据（1和2）中存储的原始消息计算出的消息来更新Memory。然后可以使用刚更新的Memory（灰色连接边）来计算embedding（3）。这样，与Memory相关的模块的计算将直接影响损失函数（4、5），并且它们会收到一个梯度。最后，此批处理连接边的原始消息存储在原始消息存储库（6）中，以供将来的batch数据使用。
在各种动态图上进行了广泛的实验验证后，在精度和速度方面，TGN在链接预测和动态节点分类的任务上明显优于竞争方法[6]。一种这样的动态图是Wikipedia，其中用户和页面是节点，并且连接边表示用户正在编辑页面。编辑文本的编码用作连接边功能。在这种情况下，任务是预测用户将在给定时间编辑哪个页面。我们将TGN的不同变体与基准方法进行了比较：
在预测准确性和时间方面，比较Wikipedia数据集上TGN的各种配置和已有的方法（TGAT和Jodie）对将来在Wikipedia数据集上的连接边进行预测。我们希望有更多的论文严格地报告这两个重要标准。
该拆分研究证明不同TGN模块的重要性，并使我们可以得出一些一般性结论。首先，Memory很重要：Memory的缺乏会导致性能大幅下降[7]。其次，embedding模块的使用（与直接输出Memory状态相反）很重要。基于图注意力的embedding似乎表现最佳。第三，拥有Memory使得仅使用一个图关注层就足够了（这大大减少了计算时间），因为1跳邻居的Memory使模型可以间接访问2跳邻居信息。
最后，我们认为在动态图上学习是一个几乎原始的研究领域，具有许多重要应用场景，并且具有巨大的潜在影响。我们认为，我们的TGN模型是提高动态图学习能力的重要一步，以巩固和扩展先前的结果。随着这一研究领域的发展，更好，更大的基准将变得至关重要。现在，我们正在努力创建新的动态图数据集和任务，作为“ 开放图基准”的一部分。
往期精品内容推荐
深度数学简书-《深度学习论文写作之数学符号规范表示合集》免费pdf分享
机器学习基础教材-《数据驱动的科学与工程-机器学习、动态系统与控制》免费pdf分享
Fast.ai-《程序员深度学习实战课程2020》最新视频分享（带中英双字幕）
MIT《计算系统生物学：生命科学中的深度学习》课程 (2020) 视频频及ppt免费分享
MIT新课-《6.824分布式系统2020春》视频及ppt分享