Abstract
现在的许多方法关注 single view 或者 dual-view 学习, 这限制了学习复杂的时空特征，在这个工作中，提出了一个新的 multview transformer network (MVSTT),可以从multview的角度，有效学习复杂的时空域的关联性以及潜在的模式。
- 什么是 sing view dual-view ?
- 什么又是multview
主要的工作包括： - 考察时序视角， 设计了一个 short-range gated 卷积组件，一个 long-range gated 卷积组件。
- 从空间的视角，设计了dual-graph 空间学习模块，用来提取固定的和动态的节点空间依赖。
- 设计了 spatial-temporal transformer 通过mutlview 知识融合，来挖掘不同层次的时空信息。
代码：https://github.com/JianSoL/MVSTT
Introduction
交通流量预测对于智能交通系统非常重要。在实时动态变化的情况下，捕获复杂的时空相关性是很困难的。这些相关性由内在的因素（人的出行习惯）和外在的因素(天气条件)。 因此，准确预测交通流量常常是非常具有挑战的。现在的许多方法关注 single view 或者 dual-view 学习, 这限制了学习复杂的时空特征，如：例如，DCRNN [8] 模型专注于从时间视图中提取长距离相关性，而忽略了来自其他视图的重要信息，例如空间-时间融合和短程视图。正如[9]中所报道的，从多个角度进行学习可以获取来自不同领域的知识，通常会产生更强大的性能。
如图1所示， 在现实世界的交通网络中存在丰富的空间-时间相关知识，包括时间模式、空间依赖性和空间-时间相关性。正如[10]和[11]所报道的那样，捕捉到这三种类型的相关性可以达到令人满意的交通流量预测性能。为了更好地从这三个领域提取信息，以下是对一些观察结果的分析：
- 首先，短程[12]和长程[13]的时间模式反映了在时间局部区域[14]中的不同影响。例如，一些公园区域在假期期间会引发短期拥堵，而一些城市区域在每天高峰时段会引发拥堵，形成长程模式。因此，从短程和长程信息两方面进行建模可以捕捉到更稳健的时间模式。
- 此外，实际交通网络的空间结构与先前研究中预定义的图形有很大不同，包括更多不确定事件和动态演化行为[15]。例如，预定义的图形通常基于道路拓扑建立，并获得一个固定的邻接矩阵（AM），而实际交通网络中节点之间的连接可能会动态变化。静态和动态图可以有效地模拟不同的空间结构。此外，时间和空间依赖性并不是独立存在的，而是相互关联和错综复杂的[11]。空间-时间信息的良好融合可以揭示复杂的相关性和隐藏的依赖关系。因此，深入挖掘多个视角中的交通特征，并探索这些视角之间的潜在相关性，以提供准确且稳健的预测是至关重要的。
Fig1. 交通网络中多视角空间-时间相关性的示例。每条虚线表示一种相关性。在空间视图中，不同节点和边之间存在丰富的空间域依赖关系。在时间视图中，每个节点vi在前一时刻t的交通状态对其本身以及后续时刻t + n的相邻节点有不同的影响。此外，每个节点vi的交通流量不仅受到同一时刻其他节点的影响，还受到相邻时间步骤上具有不同权重的节点的影响。因此，交通道路网络包含着丰富的空间-时间知识。交通道路网络的空间结构（例如，节点v1和v3之间的距离）是交通领域中非欧几里德的。
为了应对上述挑战和限制，我们考虑了三个视角中的时空相关性，即时间视角、空间视角和时空融合视角，并提出了一种新颖的多视角时空变换器（MVSTT）网络用于交通预测。MVSTT从这三个视角学习时空特征，并结合基于图神经网络（GNN）的模块和变换器进行时空信息融合。此外，我们将时间视角分为两个子视角，将空间视角分为两个子视角。本研究的主要贡献总结如下：
1）： 我们在空间视图中提出了一个双图空间模块（DGSM），通过设计静态图传播（SGS）组件和动态图嵌入（DGE）组件，可以同时捕捉静态和动态的空间依赖关系。静态和动态图可以通过处理空时数据的每个步骤来捕捉固定的拓扑依赖和动态变化的空间关系。
2）： 我们还包括了一个时间视图，并设计了短程门控卷积（SGC）组件和长程门控卷积（LGC）组件。前者学习不同粒度下的短期交通模式，而后者提取跨多个时间步长的长期时间依赖关系。
3）： 为了有效地实现空时特征融合，我们进一步提出了一个空时变换器（STT）模块，在该模块中，通过多个自注意机制深度融合了空间表示和时间表示。
4）：我们在四个真实世界的交通数据集上进行了大量实验，以评估所提出的模型。我们的理论分析和实验结果都表明，我们的方法优于目前的最先进方法。
本文的其余部分按照如下方式组织。第二节回顾了相关的先进技术，例如图神经网络（GNN）、注意机制和交通流预测。第三节详细描述了我们的方法论。第四节呈现了实验设置、实验结果和讨论。在第五节中，我们总结本文并讨论未来的计划。
Related work
在本节中，我们回顾了传统的交通流预测方法，以及流行的图神经网络（GNN）技术。我们还单独对注意机制进行了简要概述，因为它是transformer技术的重要基础。
时空数据预测
空时数据预测大致经历了五个阶段。一些先前的研究将空时预测任务视为时间序列问题，例如ARIMA [16]及其变种[17]，[18]。正如在[18]中报道的那样，Wang等人结合了季节性ARIMA模型和Holt-Winters方法，基于时间相关系列实现了短期车辆流量预测的优势。Guo等人[19]提出了自适应卡尔曼滤波器，实现了随机季节性ARIMA加广义自回归条件异方差（SARIMA + GARCH）过程，该过程以15分钟间隔进行实时流量预测。基于ARIMA的方法在捕捉交通流时间序列变异性方面很有效，但在提取交通路网的动态特征（如复杂的非线性和不确定性）方面不够稳健。由于交通流预测存在一定的不确定性，一些研究受到捕捉这种非线性不确定性以获得更好预测性能的启发。Sun等人[20]设计了模型来捕捉邻近道路之间的非线性相关性，使用贝叶斯网络。正如在[21]和[22]中报道的那样，支持向量回归已经被成功地用于预测交通状况，例如小时流量和行车时间，并在典型和非典型条件下预测短期高速公路交通流量。因此，利用深度神经网络进行空时预测的开发引起了广泛关注。提出了一种深度置信网络[23]和堆叠自动编码器模型[24]，以提高捕捉交通流量预测中的非线性特征的能力。
最近，张等人[25]开创了一种被称为DeepST的方法来预测交通流数据。他们将城市划分为地理网格，通过在固定时间内统计交通流量，可以生成一个交通流量矩阵。具体而言，DeepST方法由一个空时组件和一个全局组件组成，提取不同网格之间的空时信息和全局因素（例如工作日和周末）。在之前的研究[25]基础上，张等人[26]根据空时数据和残差学习的特性（如接近度和趋势）提出了另一种经典的ST-ResNet。其中一个亮点是将外部环境因素（如天气条件）纳入考虑，使得预测更加合理。Zonoozi等人[27]设计了一个卷积循环网络，专注于明确捕捉周期性重复模式和多步预测。考虑到预测模型规模大且推断时间较长，Pu等人开发了一个轻量级编码和解码框架用于交通流预测，提高了预测速度同时确保准确性[28]。然而，这些研究[25]，[26]，[27]，[28]，[29]没有考虑静态和动态图的空时依赖关系，也没有考虑空时信息的深度融合。尽管取得了一些成果，基于CNN的方法只适用于欧几里得空间，而不适用于交通路网的非欧几里得空间。
最近，基于图的空时预测方法已成为热门话题[1]，[14]，[30]，[31]。Yu等人[30]首次提出了一种名为STGCN的空时图卷积网络（GCN），它替代了常规的卷积和循环单元，并在图序列上构建更快的空时预测。考虑到交通流的动态特性以及CNN或RNN无法捕捉时间趋势的远距离依赖关系，Wu等人[15]设计了一种称为Graph WaveNet的方法，利用一种新颖的自适应AM，并通过节点嵌入学习它来捕捉隐藏的空间依赖关系。然而，如果扩张率增加，该方法将丢失短程信息，并且没有考虑深度的空时信息融合。考虑到大多数之前提取空间和时间依赖关系的方法是独立的模块，缺乏空时信息的整合。为解决这个问题，Li和Zhu[10]设计了一种空时融合GNN，以并行的方式融合不同时间段内的空间和时间图，以更好地学习复杂交通情况下的空时依赖关系。此外，该方法利用Huber损失函数[32]来缓解交通流数据的缺失值问题。
如今，Transformer网络在自然语言处理和计算机视觉领域取得了巨大成功[33]，[34]，一些学者开始探索将Transformer网络用于交通流预测。Giuliari等人[35]提出了一种用于轨迹预测的新型Transformer网络，考虑了原始Transformer和更大的双向Transformer。为了提高学习交通流高度非线性和动态空时依赖关系的能力，Xu等人[36]设计了一种新颖的STT网络范式，包括一个时间Transformer组件和一个空间Transformer组件，可以感知动态方向空间依赖关系和长程时间依赖关系。Wang等人[31]提出了一种空时GNN方法，该方法突出了可学习的位置注意机制，以高效地聚合相邻道路的信息。受到Transformer技术和从交通流数据中学习不同视角的启发，MVSTT模型不仅考虑了时域视角中的短程和长程特征，空间视角中的静态拓扑和动态图依赖关系，而且同时利用Transformer实现了空时视角的深度融合特征。
Convolutions on Graphs
卷积神经网络（CNN）及其变种在各种应用中取得了令人瞩目的表现。基于图神经网络（GNN）的各种模型从谱域图卷积和空间域图卷积两个角度做出了贡献。主要的谱域图卷积方法包括SCNN [37]、ChebNet [38]和GCN [39]。SCNN是谱图卷积理论的直接应用，ChebNet在SCNN的基础上使用切比雪夫多项式来减少计算复杂性，而GCN则进一步简化了ChebNet并适用于相应的任务。主要的空间域图卷积方法包括GraphSAGE [40]和GAT [41]。GraphSAGE考虑了卷积上采样和信息聚合的组合。它在图中的每个阶段对邻居进行采样，并聚合自身和邻居的信息。GAT在卷积操作中引入了一种注意机制，并使用该机制动态调整相邻节点的重要性。
Attention Mechanism
Transformer是一种模型，最初应用于自然语言处理领域，现在被广泛应用于各种应用中，它是基于注意机制的深度神经网络[42]。有几种经典方法利用注意机制来更好地预测交通流量。Liang等人[43]提出了一个多级注意力层来提取动态空时依赖关系，并结合融合模块来捕捉外部因素（如天气）。Zhang等人[44]设计了一种基于图的注意力方法，以提高捕捉空间相关性的能力，从而更好地基于多个传感器数据预测交通流量。在另一个热门研究中，Guo等人[14]设计了一种新颖的注意机制，并结合GCN来解决交通流量预测任务，重点是空时注意力和捕捉动态空时相关性。
在这项工作中，我们构建了一个STT来提取时空特征，并使用多头自注意机制[45]深度融合不同视图的空时特征。自注意策略的核心思想是序列之间的相互关系，它能够自我确定分配的输入项权重的大小。