动态时空相邻图卷积网络交通预测

DSTAGCN: Dynamic Spatial-Temporal Adjacent Graph Convolutional Network for Traffic Forecasting

摘要：

        在智能交通系统中，捕获复杂动态的交通数据时空依赖关系对于实现准确、实时的交通预测具有重要意义。交通位置之间的时空依赖关系往往是动态的，即不同位置的交通状态随其空间距离和所处时间片的相关性共同变化。现有的大多数基于图卷积网络的方法通常是分别捕获空间和时间依赖关系，然后将它们以并行或串行的方式组合起来以捕获时空特征。它们总是利用预定义的静态图结构来捕获同一时间片中的局部相关性和全局依赖性。这些方法不能直接学习跨时间片的动态时空依赖性。同时，单纯利用神经网络学习交通位置间的时空相关性知识是一个挑战。为了解决这些问题，我们提出了一种新的动态时空相邻图卷积网络(DSTAGCN)，它将最新的时间片与每个过去的时间片连接起来构建时空图。DSTAGCN可以跨时间直接学习全局空间依赖关系，并通过图卷积同时捕获时空依赖关系。由于模糊理论使得表示不确定关系成为可能，因此设计了一个集成模糊系统和神经网络的简化模糊神经网络，以帮助生成表示动态邻接关系的图邻接矩阵。在公共数据集上的实验表明，该方法收敛速度快，优于基线。

1.介绍：

        我们提出了一个用于交通预测的动态时空相邻图卷积网络(DSTAGCN)。受STSGCN[4]的启发，我们构建了时空图来同时捕获时空依赖关系。STSGCN利用局域化时空子图模块来同步建模局域化关联。与STSGCN不同的是，我们将最新的时间片与输入序列中的每个时间片连接起来，以探索每个时间片的不同位置对即将到来的时间片的潜在影响。因此，每个时空图的邻接矩阵反映了两个不同时间片的直接时空相关性。此外，由于模糊理论使不确定关系的表示成为可能，因此将模糊推理与神经网络相结合将有利于表达不确定的时空关系。因此，为了有效地捕获交通位置之间的邻接关系，设计了一种将模糊系统与神经网络相结合的数据驱动方法来生成动态邻接矩阵。在此基础上，提出了一种新的图卷积模块来提取隐藏特征。在此框架下，该模型可以通过重构的图结构动态挖掘交互时空依赖关系，并通过简化的模糊神经网络提高预测效果。

本工作的主要贡献如下:

1)将最新时间片的两个图与过去时间片的两个图连接起来，构建时空图。重构图的时空邻接矩阵(STAM)直接反映了时间片之间的全局空间相关性。这样，该模型仅通过一层图卷积就可以同时捕获空间和时间依赖关系，特别是长期的全局空间依赖关系，避免了RNN方法在序列学习中过多的误差积累和消耗。

2)提出了一种基于模糊神经网络的数据驱动模块，用于交通图邻接矩阵的学习。这项工作有利于挖掘交通数据之间潜在的和不确定的相互联系。据我们所知，我们提出的模型是第一个利用模糊神经网络来学习图卷积方法中的邻接矩阵的模型。

3)在6个公开的真实世界交通数据集上对所提出的模型进行了评估。实验表明，我们的方法优于基线方法。

2 .问题定义及相关工作：

问题定义：给定一个道路网络，我们可以将其表示为图，其中V为节点的集合，为边的集合，为原始邻接矩阵。每个条目表示从vi到vj的两个边为的节点的影响程度。图中节点表示路段上的观测点，图中的边表示每个节点之间的连接关系。时间片t在G上观测到的流量数据为特征矩阵，其中C为每个节点的特征个数。路网的时空交通预测问题可以表述为:学习过去P个时间片路网G上的映射函数f和对应的历史观测值X，然后预测接下来Q个时间片的交通数据，如下所示:

 

 其中p=P-1，P是历史时间片的长度，Q是需要预测的时间序列的长度。

从时间的角度来看，每个节点的数据本身就是一个时变的流量序列。从空间的角度来看，在一个时间片内，每个节点的流量状态在空间上影响其他节点。从交通传播的角度来看，交通状态同时受到时间和空间因素的影响，呈现出互动的时空特征。因此，捕捉这些复杂的动态时空依赖关系至关重要，并在文献中引起了大量关注。此外，模糊神经网络结合了模糊系统良好的知识表示能力和神经网络的自监督学习能力，有助于挖掘不确定的邻接相关性。

模糊神经网络：

        模糊系统更接近于人的思维，用模糊规则来表示不精确的数据和知识，并对数据进行模糊推理。模糊系统提供了方便灵活的推理方法，实现模糊但鲁棒高效的推理。与传统模糊推理系统需要耗费大量时间手动设置规则不同，模糊神经网络可以学习模糊规则并对隶属函数进行调整。由于模糊关系使得不确定关系的表示成为可能，因此将模糊推理集成到模型中来表达不确定的时空关系可能会有所帮助。

        模糊神经网络将模糊系统与神经网络相结合，既具有模糊推理系统在不确定、不精确环境下的推理能力，又具有神经网络的自学习能力。模糊神经网络基于简单的“IF- THEN”规则，如“IF x1 AND x2 AND…，THEN y”。一个典型的模糊神经网络有三个主要部分:模糊化层、规则层和去模糊化层。在模糊化层，通过适当的隶属度函数对输入变量进行模糊化，得到隶属度值，这些隶属度值是“IF”部分的推理前提。这些值通过特定的 T -范数运算符(通常是乘法或最小化)在规则层中组合，以充当每个模糊规则的“AND”操作。在去模糊化层，聚合每个规则的合格结果，为“THEN”部分生成输出。

        简而言之，我们的目标是从交通状态传播的角度同时捕捉交通位置的时空依赖性。与大多数现有方法不同，我们的模型可以通过时空邻接矩阵来捕获过去时间片和最新时间片之间的全局空间相关性。通过重新设计的模糊神经网络，以数据驱动的方式动态学习不精确邻接矩阵。

 3.方法：

        考虑到交通数据在动态交通传播过程中独特的时空依赖性，提出了动态时空相邻图卷积网络(DSTAGCN)模型来解决交通网络上的交通预测问题。图3展示了所提出的DSTAGCN模型的总体框架。具体来说，该模型包括四个主要部分:1)时空图构建模块，用于构建连接过去时间片和最新时间片的时空图。2)邻接矩阵生成模块，用于学习和构造时空图的邻接矩阵。在我们的工作中，模糊神经网络被用于生成邻接矩阵。3)图卷积模块，用于从具有动态可学习邻接矩阵的时空图中提取时空特征。4)输出模块，用于预测预期的未来流量序列。

        将输入序列中每个时间片t的流量图与最新时间片的流量图连接，构成一个时空图。在时空图构建模块中，时空图的特征矩阵由对应的和连接，时空图的邻接矩阵由邻接矩阵生成模块中输入的特征矩阵和构造的特征矩阵学习得到。然后将这P个变换后的时空特征矩阵和P个邻接矩阵分别送入P个图卷积模块中捕获隐藏特征。然后将所有隐藏的特征连接起来，并用于在输出模块中生成预测的序列。

 时空图构建模块：

         为了捕获位置之间的全局空间影响，我们重建了输入序列。我们把两个时间片连接起来，构成一个时空图。我们将过去的时间片和最近的时间片连接起来，而不是在相邻的时间片上连接所有节点，从而直接捕获不同时间跨度上的时空依赖关系。时空图可以被认为具有两倍大小的节点集。时空图上的特征矩阵由各自时间片上的特征矩阵构成，如图4a所示。

 

 

 其中 [] 表示串联，，为时空特征矩阵。

        图4b示出了时空图结构的示例，橙色和蓝色切片分别表示最近的时间切片t和过去的时间切片t-1 ，红色虚线箭头表示不同节点之间跨时间的空间相关性。值得注意的是，这种跨时间的空间连接是单向的，并且不限于相同的节点。我们使用来表示连接时间片t- i和时间片t 的时空图的邻接矩阵。它被定义为：

其中是过去时间片 t-i 和最近时间片 t 的网络的空间邻接矩阵。 时空邻接矩阵（STAM）反映了从过去时间片 t-i 中的节点到最近时间片 t 中的节点的跨时间空间影响，其识别了时空相关性。利用这种结构，不仅可以识别时间片t和ti中的空间相关性，还可以识别两个时间片之间的时空相关性。

 邻接矩阵生成模块：

        道路网络交通图的原始邻接矩阵表示节点之间的空间关联，它是静态的。时空图的邻接矩阵表示跨时间的空间关系。我们不使用预定义或固定的邻接矩阵，而是采用数据驱动的方法来动态生成邻接矩阵。如图5所示，我们将特征矩阵馈送到S-AML（空间邻接矩阵学习）模块中，以在每个时间片t-i生成空间邻接矩阵，并将重构的时空图上的特征矩阵馈送到STAML（时空邻接矩阵学习）模块生成时空邻接矩阵，然后根据上面的等式将这两种类型的邻接矩阵组合得到。

         在这项工作中，我们提出了一种基于模糊神经网络的数据驱动方法来学习S-AML和ST-AML模块中的邻接矩阵。两个AML模块的核心思想是通过检查所有交通位置的数据提取全局交互相关性，并将其映射到邻接矩阵中。因此，该模糊网络的输入是平面化的，它以一种单独的方式调查所有的交通节点。具体来说对于一个输入特征矩阵，可以重构为一个向量，其中为输入节点数(对于, 等于N，对于, 等于2N)， C为输入特征通道数(本文的输入特征为交通流或交通速度，即)。在模糊化层对输入节点进行模糊化。模糊化层的隶属函数采用高斯函数。模糊化可表示为:

 

        式中MF表示隶属度函数，m为每个输入的隶属度函数个数，表示第k个输入节点，是高斯函数中的可学习参数，u是模糊化后的输出。与一般神经网络隐层的可学习参数直接对输入进行加权不同，这里的模糊化层参数仅用于定义隶属函数。隶属度函数的输出值表示输入变量的值在模糊集合中的包含程度。这些值是模糊规则中 “IF” 部分的推理先行词，它们都有助于下一层的模糊参考过程。

         在传统模糊神经网络的规则层中，模糊规则的个数由输入变量的隶属度函数的组合决定，即。在我们的工作中，研究了所有输入节点。由于在全市交通网络中相对较高，将非常大，这在本模型中是不可接受的。因此，考虑到输入的特征同质性，我们不需要覆盖每一个隶属函数组合，而是只选择一个隶属函数组合，可以表示为:

 

        在这里，选择最小函数将成员值组合为通常的T-范数算子，并充当模糊规则中的“AND”操作。这样，规则数显著减少到m。输出的规则层可以视为隐藏的模糊特征。图5的右侧部分说明了这两个层的一个示例的细节，该示例具有3个输入节点(n=3)和每个输入节点(m=2)的2个隶属函数。

 一般模糊神经网络的去模糊化层由归一化和聚集两部分组成。与一般模糊神经网络只输出一个数值不同，我们期望得到多个节点之间的影响关系。因此，在我们的工作中，我们采用全连通层，用线性投影进行去模糊化:

其中Dense表示全连通层，D表示模糊特征。这一层生成模糊规则中 “THEN” 部分的演绎。此外，在后面堆叠了一个dropout层，以减少过拟合。注意，这个数据驱动模块并不是直接通过一定的连接权值从输入数据中计算邻接矩阵，而是先使用模糊层提取输入数据的模糊特征，然后通过全连接层映射到目标矩阵。然后将输出特征重构为。

在S-AML模块中，由于原始邻接矩阵具有良好的先验性，并且会在单个时间片中产生影响，因此对原始邻接矩阵进行加权，然后将其添加到学习到的邻接矩阵中。因此空间邻接矩阵的计算下:

 

 其中是原始邻接矩阵的权重，并且表示逐元素乘积。这将每个时间片中学习的邻接矩阵转换为原始邻接矩阵的残差部分，这是相关性的动态校正，同时保持短期空间相关性的良好先验。不同的是，在ST-AML模块中，，因为跨时间的相关性很难提前定义。

图卷积模块：

        在构建时空图之后，我们使用完全连接层来变换重构的特征序列转换成高维空间： 

其中是经过处理的特征矩阵序列。如图6所示，图卷积模块用于捕获所构建图中节点之间的时空相关性。根据建立的时空邻接矩阵，我们在空间域中定义了一种卷积方法，以聚合时空图上每个节点的邻接节点的信息。同时，选择GLU作为激活函数。该图卷积可以公式化为：

 

其中是可学习的参数，表示sigmoid激活函数，是卷积层的输出。值得注意的是，这里只采用了一个这样的卷积层。由于时空图的构造形式，时空邻接矩阵可以直接反映早期远处位置的连接。

因此，一层卷积足以聚合每个节点的相邻特征。此外，我们在卷积层前后添加了一个跳跃连接，将卷积的结果作为残差部分，以便于网络训练：

 

这里在实践中。从理论上讲，这两个超参数可能是不同的。在这种情况下，需要进行尺寸改变的操作，为了简洁起见，这里省略了这一操作。至于卷积的结果，我们使用最大池化将其压缩为节点特征：

 其中是输出节点特征。

输出模块：

        输出层将图形卷积模块输出的特征矩阵转换为最终的预期目标。图卷积模块在每个时间片上的输出是。我们将过去的P时间片输出合并到中。使用两个完全连接的层来生成每个预测时间片的预测输出，然后可以通过每个时间片的输出来连接最终的预测矩阵：

 

其中ReLU是激活函数，是所提出模型的输出。在这项工作中，Huber损失被选为损失函数，因为它对异常值具有鲁棒性：

 

 其中和分别表示地面实况和预测，d是阈值参数（默认为1）。

 总之，时空图构建模块提供了一种新的方法，通过链接过去和最新的时间片，直接捕捉远距离的空间关联。在邻接矩阵生成模块中，在每个时间片上学习的邻接矩阵可以反映动态和异构的时空相关性，模糊网络可以灵活地提取不确定的邻接相关性。基于上述框架，图卷积模块只需一层卷积就可以提取长期的时空特征。

4.实验

 

 5.结论

        在这项工作中，我们提出了一种新的用于交通预测的动态时空相邻图卷积网络DSTAGCN。考虑到每个节点对交通网络的时空依赖性及其传播模式，我们将最近时间片的图与过去的每个时间片连接起来，构建时空图。该时空图的邻接矩阵可以直接捕捉时间片之间的全局位置和每个时间片中的空间关系的跨时间-空间依赖性。我们设计了一个简化的模糊神经网络，从观测中学习上述不精确的时空邻接矩阵。在多个数据集上进行的大量实验表明，我们的DSTAGCN模型始终优于基线。并且所提出的模型以更快的收敛速度获得了更精确的性能。