问题分类

根据数据格式

离散值序列
连续值序列

根据采样频率

均匀采样、等间隔采样
不均匀采样

根据变量数目

单变量时间序列 UTS
多变量时间序列 MTS

根据问题类型

分类（TSC）、模式识别
预测（TSF）
动态重建、仿真
异常检测

应用领域

金融数据预测 financial data forecasting
动态非线性系统建模 modeling of dynamic nonlinear systems
天气预测 weather forecasting
复杂系统状态预测 complex system states prediction
异常检测 outlier detection, anomaly detection
地震预测 earthquake prediction
行为识别 action recognition

数据集

博文

论文

Time-series extreme event forecasting with neural networks at uber
方法：LSTM
发表：International Conference on Machine Learning, 34, page 1–5. (2017)
Deep and Confident Prediction for Time Series at Uber
方法：LSTM + Auto-Encoder
发表：2017 IEEE International Conference on Data Mining Workshops (ICDMW)
Conditional Time Series Forecasting with Convolutional Neural Networks
方法：CNN
发表：Journal of Computational Finance · March 2017
特色：教科书式的详细解释
Time Series Prediction by Chaotic Modeling of Nonlinear Dynamical Systems
方法：Kernel regression
发表：Computer Vision, 2009 IEEE 12th International Conference on. IEEE, 2009.
特色：通过重建混沌吸引子来对动态行为建模
Long-term Forecasting using Tensor-Train RNNs
方法：TT-RNN
发表：arxiv，2018
DeepAR_Probabilistic Forecasting with Autoregressive Recurrent Networks
方法：RNN, encoder-decoder
发表：International Journal of Forecasting · April 2017
特色：预测分布，多变量
Some Recent Advances in Forecasting and Control
方法： ARMA , Linear Dynamic Model
发表：Journal of the Royal Statistical Society. Series C (Applied Statistics), Vol. 17, No. 2(1968), pp. 91-109
特色：老方法
TIME SERIES PREDICTION WITH SIMPLE RECURRENT NEURAL NETWORKS
方法：Elman Recurrent， Jordan Recurrent，(Elman-Jordan) Muti-Recurrent
数据：Airline Passengers，S&P 500，Mackey Glass
发表：Bayero Journal of Pure and Applied Sciences, 9(1): 19 - 24, May, 2016, ISSN 2006 – 6996
特色：灌水文章，排版垃圾
Long-Term Time Series Prediction with the NARX Network: An Empirical Evaluation
方法：NARX network
数据：chaotic laser time series， variable bit rate (VBR) video traffic time series
发表：Neurocomputing, 2008, 71(16-18):3335-3343
特色：动态重建问题，对比了 TDNN，Elman Network，两层隐层，用到了时滞坐标
The analysis of observed chaotic data in physical systems
方法：
发表：Reviews of Modern Physics, Volume 65, Issue 4, October 1993, pp.1331-1392
Multivariate Time Series Prediction Based on Optimized Temporal Convolutional Networks with Stacked Auto-encoders
方法：Temporal Convolutional Networks，Stacked Auto-encoders
发表：ACML 2019
特色：使用 TCN 对多变量时间序列建模，再次之前先用 SAE 无监督训练提取特征，使用 Bayesian Optimization 对模型的超参数进行选取
WAVENET: A GENERATIVE MODEL FOR RAW AUDIO
方法：dilated causal convolutions，skip connection， GATED ACTIVATION UNITS
发表：arXiv
特色：DeepMind 出品，语音生成
Learning a Mahalanobis Distance-Based Dynamic Time Warping Measure for Multivariate Time Series Classification
方法：基于马氏距离的动态时间调整，度量学习
发表：IEEE TRANSACTIONS ON CYBERNETICS, VOL. 46, NO. 6, JUNE 2016
特色：多元时间序列，分类，用对数行列式（LogDet）散度进行度量学习
Outlier Detection for Temporal Data：A Survey
方法：综述
发表：IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 26, NO. 9, SEPTEMBER 2014
特色：综述了包含时间序列在内的时序数据异常检测问题，时间序列中的异常检测问题分为异常的序列和序列中的异常两大块
Anomaly Detection for Discrete Sequences：A Survey
方法：综述
发表：IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 24, NO. 5, MAY 2012
特色：离散时间序列的异常检测，将问题归为三类：数据集中异常序列的检测、长序列中的异常子序列检测、异常频率模式的检测
Time Series Classification Using Support Vector Machine with Gaussian Elastic Metric Kernel
方法：支持向量机 + 高斯弹性度量核
发表：20th International Conference on Pattern Recognition. IEEE, 2010.
特色：时间序列分类，在高斯径向基函数核的 svm 上做改进，将 RBF 核函数换成弹性度量核
Fluctuation Similarity Modeling for Traffic Flow Time Series: A Clustering Approach
方法：average detrending + PCA + k-means
发表：2015 IEEE 18th International Conference on Intelligent Transportation Systems
特色：交通流时间序列，使用聚类的方法对不同节点（区域）的交通流序列波动的相似性建模
Landsat Time Series Clustering under Modified Dynamic Time Warping
方法：Canberra Distance-Dynamic Time Warping，k-means
发表：2016 Fourth International Workshop on Earth Observation and Remote Sensing Applications
特色：灌水论文，题材有点意思：遥感图像像素点分（聚）类问题，为了标记地面的物体属于植被、建筑还是水域等等之类。区别于单张图像的分割问题，论文中的方法使用不同季节的多张遥感图像，因而每个点是一个时间序列，而且通过光谱分解成多变量时间序列，对这些时间序列用CD-DTW计算距离，再用kmeans聚类，实现图像分割
Time series forecasting using improved ARIMA
方法：垃圾
发表：2016 Artificial Intelligence and Robotics (IRANOPEN)
特色：狗屁不通，学术垃圾，浪费生命
A Survey on Stock Market Prediction
方法：综述
发表：5th IEEE International Conference on Parallel, Distributed and Grid Computing(PDGC-2018), 20-22 Dec, 2018, Solan, India
特色：平平淡淡，总结了十来篇预测股票市场的文章中的方法和结果
Comparison of Strategies for Multi-step-ahead Prediction of Time Series using Neural Network
方法：ANN
发表：2015 International Conference on Advanced Computing and Applications
特色：语言表达较好，介绍了多步预测的五种策略：recursive，direct，DirREC，MIMO，DirMO，在三个数据集上验证后得出结论 DirREC 效果较好
Review on Various Models for Time Series Forecasting
方法：综述
发表：Proceedings of the International Conference on Inventive Computing and Informatics (ICICI 2017)
特色：综述了与自回归模型相关的若干方法：
Autoregression (AR)，
Moving Average (MA)，
Autoregression Moving Average (ARMA)，
Autoregressive Integrated Moving Average Model (ARIMA)，
Autoregressive Conditional Heteroscedasticity model (ARCH)，
Generalized Autoregressive Conditional Heteroscedasticity model (GARCH)，
Dynamic Autoregression (DAR)，
Vector Autoregression (VAR)，
Holt-Winters Exponential Smoothing
Online Nonstationary Time Series Prediction using Sparse Coding with Dictionary Update
方法：basis pursuit denoising formulation (BPDN)
发表：2015 International Conference on Information and Communication Technology Research (ICTRC2015)
特色：保留历史序列，将新的窗口和历史的窗口比较，将 k 近邻的历史窗口作为基底，求得新窗口的稀疏编码，即 Sparse Neighbor Embedding，加权求和得出预测值。用定长队列来保存历史来控制空间消耗。与文献4的方法类似
Temperature Time Series: Pattern Analysis and Forecasting
方法：经验模态分解、希尔伯特黄变换、ANN
发表：2017 4th Experiment@ International Conference (exp.at’17), June 6–8th, 2017, University of Algarve, Faro, Portugal
特色：使用经验模态分解、希尔伯特黄变换来分析信号，使用简单神经网络来预测，虽然没太看懂，但还是挺水的论文
Statistical and Machine Learning forecasting methods: Concerns and ways forward
方法：综述
发表：Plos One, 13(3):e0194889-. [2018]
特色：作者对用机器学习算法做时间序列预测的有效性提出质疑。在 M3 Competition 时间序列数据集上实验，测试了流行的机器学习算法和8种传统统计方法，比较了它们在长、短时预测问题上的准确率（误差）和计算代价。结果显示，机器学习算法不仅预测效果不如传统方法，还需要更多的计算开销。文中讨论的机器学习算法有：多层感知机 (MLP)，贝叶斯神经网络 (BNN)，径向基函数 (RBF)，核回归，K近邻，CART 回归树，支持向量回归 (SVR)，高斯过程 (GP)，循环神经网络（RNN），长短时记忆网络（LSTM）。此外比较的统计方法有：Naive method: seasonal Random Walk (Naive), Simple Exponatial Smoothing (SES), Holt exponential smoothing (Holt), Damped exponential smoothing (Damped), combination (average) of the three exponential smoothing methods: SES, Holt and Damped (Comb), Theta method, 自动模型选择的 ARIMA 和 exponential smoothing (ETS)。结果如下：

文章的结论是，当前的许多基于机器学习的预测方法缺少和基准模型比对，夸大的方法的可用性。
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
方法：时域卷积网络 temporal convolutional network (TCN)
代码：https://github.com/locuslab/TCN
发表：arXiv:1803.01271v2 [cs.LG] 19 Apr 2018
特色：将时序卷积网络与多种RNN结构相对比，发现在多种任务上TCN都能达到甚至超过RNN模型。TCN相比于wavenet，去掉了门机制，加入了残差结构。TCN 优点：（1）并行性。当给定一个句子时，TCN可以将句子并行的处理，而不需要像RNN那样顺序的处理。（2）灵活的感受野。TCN的感受野的大小受层数、卷积核大小、扩张系数等决定。可以根据不同的任务不同的特性灵活定制。（3）稳定的梯度。RNN经常存在梯度消失和梯度爆炸的问题，TCN不太存在梯度消失和爆炸问题。（4）内存更低。RNN在使用时需要将每步的信息都保存下来，这会占据大量的内存，TCN在一层里面卷积核是共享的，内存使用更低。缺点：（1）TCN 在迁移学习方面可能没有那么强的适应能力。将一个模型从一个对记忆信息需求量少的问题迁移到一个需要更长记忆的问题上时，TCN 可能会表现得很差，因为其感受野不够大。（2）论文中描述的TCN还是一种单向的结构，在语音识别和语音合成等任务上，纯单向的结构还是相当有用的。但是在文本中大多使用双向的结构，当然将TCN也很容易扩展成双向的结构，不使用因果卷积，使用传统的卷积结构即可。（3）TCN毕竟是卷积神经网络的变种，虽然使用扩展卷积可以扩大感受野，但是仍然受到限制，相比于 Transformer 那种可以任意长度的相关信息都可以抓取到的特性还是差了点。
For2For_Learning to forecast from forecasts
方法：ensamble
发表：arXiv:2001.04601v1 [stat.ML] 14 Jan 2020
特色：以别的模型的预测值为输入，用 CNN 或者 RNN 来输出结果，在 M4 Competition 数据集上测试，季度数据的预测准确率取得第一。
TRELLIS NETWORKS FOR SEQUENCE MODELING
方法：TrellisNet
发表：ICLR 2019
特色：序列建模的新结构，在时域卷积网络（TCN）上的改进，证明了 truncated recurrent networks 和新结构等价，在基准数据集上取得了不错的成绩，主要包括单词语言模型、字符语言模型、长时记忆的压力测试等基准。
Phoneme Recognition Using Time-Delay Neural Networks
方法：TDNN
发表：IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL. 31. NO. 3. MARCH 1989
特色：时延神经网络TDNN，是CNN的鼻祖，用于语音识别中的因素识别，取得了比HMM更好的效果。
Multivariate Time Series Prediction based on Multiple Kernel Extreme Learning Machine
方法：kernel ELM
发表：2014 International Joint Conference on Neural Networks (IJCNN)
July 6-11, 2014, Beijing, China
特色：隐层节点函数为核函数的极限学习机，也可看做 RBF 神经网络的随机化版本
AR-Net: A SIMPLE AUTO-REGRESSIVE NEURAL NETWORK FOR TIME-SERIES
方法：classic AR， AR+NN without hiddon layer
发表：arXiv:1911.12436v1
特色：没有隐层的神经网络，就是一个线性变换嘛，AR 本质上也就是最小二乘法。这篇文章探讨的是最小二乘法和随机梯度下降法的差别，SGD 可以设计损失函数使得权重具有稀疏性，随意神经网络牛逼，深度学习牛逼！
径向基函数神经网络的一种有效的在线学习方法
方法：径向基函数神经网络
发表：电子与信息学报，第23卷第5期，2001年5月
特色：在线增加和减少径向基函数的隐层节点，讲得很清晰！
Forecasting Seasonal Time Series with Functional Link Artificial Neural Network
方法：函数连接神经网络
发表：2015 2nd International Conference on Signal Processing and Integrated Networks (SPIN)
特色：函数连接神经网络

待阅

Prediction on Housing Price Based on Deep Learning
Time series forecasting by recurrent product unit neural networks
Conditional Time Series Forecasting with Convolutional Neural Networks
Urban Water Flow and Water Level Prediction based on Deep Learning
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
Deep Learning Forecasting with Dilated Causal Convolutional Neural Networks on the CIF2016 Dataset
Forecasting short-term data center network traffic load with convolutional neural networks
Dilated Convolutional Neural Networks for Time Series Forecasting
Research and application of local perceptron neural network in high way rectiﬁer for time series forecasting

Short-term traffic flow forecasting with spatial-temporal correlation in a hybrid deep learning framework
Learning to Monitor Machine Health with Convolutional Bi-Directional LSTM Networks
Load Forecasting via Deep Neural Networks
Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks
Spatiotemporal Recurrent Convolutional Networks for Traffic Prediction in Transportation Networks
Diffusion Convolutional Recurrent Neural Network-Data-Driven Traffic Forecasting

颹蕭蕭

发布了274 篇原创文章 · 获赞 446 · 访问量 42万+

他的留言板关注

时间序列分析（TSA）

文章目录

问题分类

应用领域

数据集

博文

论文

待阅

猜你喜欢