综述 | 时空序列预测模型有哪些研究方向？

本文转载自知乎作者常长

本篇文章针对时间序列预测领域中的交通流预测（交通流预测模型也可以用于其他时空序列预测问题），总结了近几年顶会顶刊中交通流模型的组成和分类。

希望这篇文章可以帮助读者更好的了解交通流模型的框架，从整体上了解近年的模型。从整体角度，熟悉各种交通流模型的结构和特点，可以帮助我们更好的使用和设计模型。

大致可以从三个方面描述“交通流模型”的内容和结构，分别是： 空间模块、 时间模块和 聚合方式。在空间模块中常用的结构有：CNN（卷积神经网络），GCN（图卷积神经网络）和Attention（注意力机制）；而在时间模块中常用的结构有：LSTM（长短时神经网络），GRU（门控循环单元），TCN（时间卷积网络），Attention（注意力机制）；常用的聚合方式有：Sequential Structure（序列结构），Coupled Structure（耦合结构）和Spatial-Temporal Synchronized Learning（时空同步学习）。

时空序列预测模型=空间模块+时间模块+聚合方式

从整体上来说，近年的时空序列预测模型的组成可以概括为如上公式，再细节一点就是不同模型有不同的小trick（这个可以通过阅读论文和代码进一步详细了解）。可以按照这三个方面给模型进行分类，在下文会着重讨论各个模型的不同。

不同的模型是这三个方面的排列组合，下面介绍几种有效的、用得多的组合结构。包括：GNN+TCN+Sequential、GNN+RNN+Sequential/Coupled、Attention+其他+Sequential、时空同步学习。

总览

交通流预测问题的特征有三个，包括：Speed（速度），Flow（流量），Occupy（道路占用率），这三个变量的预测都属于交通流预测问题的范畴。

如下图是近年顶会顶刊里中稿的交通流paper（Traffic Flow Prediction和Traffic Speed Prediction这两列），发表时间如下所示，时空维度的模块组成如下所示。

注：近年新发表的交通流模型远远不止这些（CCF A/B/C；SCI），下表格列举的是性能较好或者更有创新的模型。

近年来，顶刊顶会中的交通流预测模型

GNN+TCN+Sequential

GWNET（全称Graph WaveNet）和MTGNN是GNN+TCN结构的代表模型。用GCN处理空间特征，用TCN（本质上是膨胀因果卷积，1维卷积，也称为WaveNet）。除此之外，GWNET和MTGNN还都在GCN中采用了adpative matrix（自适应邻接矩阵，增加拟合参数、拟合能力）。

从实验验证结果来说，GNN+TCN是目前精度最高的框架（之一），并且因为模型全是CNN没有RNN和Attention的缘故，模型的计算和训练速度都更快。同时采用自适应邻接矩阵是提供精度的重要方式。

（跟随GWNET和MTGNN的脚步，也有了更多的模型）

Graph WaveNet框架图

[1] Z Wu, S Pan, G Long, J Jiang, and C Zhang. 2019. Graph WaveNet for Deep Spatial-Temporal Graph Modeling. In IJCAI. International Joint Conferences on Artificial Intelligence Organization.

[2] Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, and Chengqi Zhang. 2020. Connecting the dots: Multivariate time series forecasting with graph neural networks. In KDD. 753–763.

[3] Liangzhe Han, Bowen Du, Leilei Sun, Yanjie Fu, Yisheng Lv, and Hui Xiong. 2021. Dynamic and Multi-faceted Spatio-temporal Deep Learning for Traffic Speed Forecasting. In KDD. ACM, 547–555.

[4] Junchen Ye, Zihan Liu, Bowen Du, Leilei Sun, Weimiao Li, Yanjie Fu, and Hui Xiong. 2022. Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting. In KDD. ACM, 2296–2306.

GNN+TCN+Sequential/Coupled

GNN处理空间特征，RNN处理时间特征，这个框架有两种常用聚合方式，一是序列结构（Sequential Structure），另一个是耦合结构（Coupled Structure）。实验表明，对于GNN+RNN，耦合结构的精度更高。也就是说GNN和RNN使用耦合结构融合使用，效果更好。

AGCRN和DCRNN是耦合结构的代表。

DCRNN框架图

[1] Yaguang Li, Rose Yu, Cyrus Shahabi, and Yan Liu. 2018. Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting. In International Conference on Learning Representations (ICLR '18).

[2] Lei Bai, Lina Yao, Can Li, Xianzhi Wang, and Can Wang. 2020. Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting. NIPS 33 (2020).

TGCN和TGCLSTM是序列结构的代表。

T-GCN框架图

[3] Ling Zhao, Yujiao Song, Chao Zhang, Yu Liu, Pu Wang, Tao Lin, Min Deng, and Haifeng Li. 2019. T-gcn: A temporal graph convolutional network for traffic prediction. IEEE Transactions on Intelligent Transportation Systems 21, 9 (2019), 3848–3858.

[4] Zhiyong Cui, Kristian Henrickson, Ruimin Ke, and Yinhai Wang. 2019. Traffic graph convolutional recurrent neural network: A deep learning framework for network-scale traffic learning and forecasting. IEEE Transactions on Intelligent Transportation Systems 21, 11 (2019), 4883–4894.

Attention+其他+Sequential

这里是指使用过Attention机制的序列模型，不限制时间和空间模块的选择。Attention机制在各类Deep Learning任务中应用并且取得了突破性的精度，因此将Attention用于交通流模型也是一种自然而然的想法。不过Attention相比卷积网络计算量更大、存储空间更多。

在交通流模型中，Attention确实令模型精度上升，但是确比不上GNN+TCN+Sequential的结构。将Attention同交通流模型更好的融合也是模型设计的重要课题了。

GMAN采用了多头时空注意力机制（multi-headed Attention）和分组注意力机制（grouped Attention）来学习数据中的时空相关性。在不同的模型中Attention机制的具体内容（或者说结合方式）有不同。相比于GMAN精心设计注意力机制，STTN和ASTGCN模型中的Attention部分只是对注意力机制的基本实现。

GMAN框架图

[1] Chuanpan Zheng, Xiaoliang Fan, Cheng Wang, and Jianzhong Qi. 2020. GMAN: A Graph Multi-Attention Network for Traffic Prediction. In AAAI. AAAI Press, 1234–1241.

[2] Mingxing Xu, Wenrui Dai, Chunmiao Liu, Xing Gao, Weiyao Lin, Guo-Jun Qi, and Hongkai Xiong. 2020. Spatial-Temporal Transformer Networks for Traffic Flow Forecasting. CoRR abs/2001.02908 (2020).

[3] Shengnan Guo, Youfang Lin, Ning Feng, Chao Song, and Huaiyu Wan. 2019. Attention based spatial-temporal graph convolutional networks for traffic flow forecasting. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33. 922–929.

时空同步学习

上文总结过，（时空模块的）聚合方式大致有三种：序列结构、耦合结构和时空同步学习。使用过时空同步学习这种聚合方式的模型并不多，所以在此我们将所有使用过时空同步学习的模型归为一类。STG2Seq和STSGCN是使用了时空同步模型的代表。

STSGCN框架图

[1] Chao Song, Youfang Lin, Shengnan Guo, and Huaiyu Wan. 2020. Spatial-temporal synchronous graph convolutional networks: A new framework for spatial-temporal network data forecasting. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34. 914–921.

[2] Lei Bai, Lina Yao, Salil S. Kanhere, Xianzhi Wang, and Quan Z. Sheng. 2019. STG2Seq: Spatial-Temporal Graph to Sequence Model for Multi-step Passenger Demand Forecasting. In IJCAI. ijcai.org, 1981–1987.

其他讨论

序列结构（Sequential Structure）无疑是交通流模型中使用最多的时空聚合方式。同时，序列结构还有串行、并行和递归等不同的组合方式。

STGCN就是经典的串行结构，用两个TCN和一个GCN串行堆叠成模型；而TGCN是采用了递归方法将GCN和GRU组合起来；PDFormer采用并行结构将多空间注意力机制和多时间注意力机制组合起来。

[1] Bing Yu, Haoteng Yin, and Zhanxing Zhu. 2018. Spatio-temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting. In Proceedings of the 27th International Joint Conference on Artificial Intelligence (IJCAI).

[2] Jiawei Jiang, Chengkai Han, Wayne Xin Zhao, and Jingyuan Wang. 2023. PDFormer: Propagation Delay-aware Dynamic Long-range Transformer for Traffic Flow Prediction. In AAAI. AAAI Press.

参考文献

Wang, Jingyuan, et al. "Towards Efficient and Comprehensive Urban Spatial-Temporal Prediction: A Unified Library and Performance Benchmark."arXiv preprint arXiv:2304.14343(2023).

注：本篇文章内容主要参考北航计算机学院智慧城市课题组的paper，发布了通用框架LibCity的同时，给出了综述paper的一些内容。

综述 | 时空序列预测模型有哪些研究方向？

参考文献

猜你喜欢