继之前针对Transformer在时间序列预测中真的有效吗、使用MLP打败复杂模型等研究后，谷歌在昨天发表了一篇最新的时间序列预测工作，提出了TiDE模型，整个模型没有任何注意力机制、RNN或CNN，完全由全连接组成。下面为大家介绍这篇工作的主要内容。
论文标题：Long-term Forecasting with TiDE: Time-series Dense Encoder
下载地址：https://arxiv.org/pdf/2304.08424v1.pdf
1
背景介绍
随着Transformer的发展，很多Transformer变体结构进入时间序列领域中。然而，AAAI2023的一篇文章，使用一个简单的线性模型，就能取得比之前各种Transformer模型还好的时间序列预测效果（Are Transformers Effective for Time Series Forecasting？AAAI 2023），对Transformer在时间序列预测中的有效性提出了质疑。随之而来的，是一系列利用简单MLP打败Transformer的工作（比如华为的时序Mixer）。近期，一种Transformer的新变种PatchTST，又为Transformer找回了场子，利用Vision Transformer中的patch建模思路升级了Transformer，又打败了MLP模型。
谷歌这篇文章，则又对MLP进行了升级，再次打败Transfomer。文中提出，MLP的非线性，在解决复杂时间序列问题中，存在无法适配时间序列和其他时序变量之间非线性的问题。基于这些问题，对MLP时序预测模型进行了升级，提出了全新的TiDE模型，在多个数据集上取得了SOTA效果。
2
模型结构
文中模型重点解决多元长周期时间序列预测任务。TiDE整个模型结构全部由MLP组成，重点解决之前线性模型无法建模预测窗口与历史窗口非线性关系、无法有效建模外部变量等问题。
模型的核心基础组件是Residual Block，由一个Dense+RLU层、一个Dense线性层、一个Add&Layernorm组成。TiDE其他组件都基于这个基础block搭建。模型整体可以分为Feature Projection、Dense Encoder、Dense Decoder、Temporal Decoder四个部分。
Feature Projection将外部变量映射到一个低维向量，使用Residual Block实现，主要目的是对外部变量进行降维。
Dense Encoder部分将历史序列、属性信息、外部变量映射的低维向量拼接到一起，使用多层Residual Block对其进行映射，最终得到一个编码结果e。
Dense Decoder部分将e使用同样的多层Residual Block映射成g，并将g进行reshape成一个[p, H]的矩阵。其中H对应的是预测窗口的长度，p是Decoder输出维度，相当于预测窗口每个时刻都得到一个向量。
Temporal Decoder将上一步的g和外部变量x按照时间维度拼接到一起，使用一个Residual Block进行每个时刻的输出结果映射，后续会加入历史序列的直接映射结果做一个残差连接，得到最终的预测结果。
对于多元序列预测，文中采用的是每个序列单独预测的方式进行的，并且各个序列预测的模型参数是共享的。
整个模型看起来朴实无华，其实相当于用全连接将历史序列、属性特征、外部变量等信息，直接映射到未来窗口的预测结果。但是，文中在后续用理论证明了这种方式的线性模型，对于预测Linear Dynamical System（未来序列是历史序列的线性映射）的数据是最合适的。感兴趣的同学可以详细阅读论文中的第五节理论证明部分。
3
实验结果
文中对于了TiDE和各个Transformer时间序列预测模型的效果，数据集和预测窗口也采用的是之前工作类似的组成形式，TiDE和PatchTST效果要优于其他模型，并且TiDE和目前Transformer最优版本模型PatchTST有着相当甚至更优的能力。
在预测的具体case上，线性模型也表现出了更好的拟合性，预测曲线更接近真实值。
推荐阅读：
我的2022届互联网校招分享
我的2021总结
浅谈算法岗和开发岗的区别
互联网校招研发薪资汇总
2022届互联网求职现状，金9银10快变成铜9铁10！！
公众号：AI蜗牛车
保持谦逊、保持自律、保持进步
发送【蜗牛】获取一份《手把手AI项目》（AI蜗牛车著）
发送【1222】获取一份不错的leetcode刷题笔记
发送【AI四大名著】获取四本经典AI电子书