最近、時系列予測 (TSF) タスク、特に困難な長期 TSF 問題に対する Transformer ベースのソリューションが急増しています。Transformer アーキテクチャは、自己注意メカニズムに依存して、長いシーケンス内の要素のペア間のセマンティック相関を効果的に抽出します。これには、順列不変性と逆順がある程度あります。ただし、時系列モデリングでは、順序付けられた一連の連続したポイント間の時間的な関係を抽出したいと考えています。したがって、これらの調査ではパフォーマンスの向上が示されていますが、Transformer ベースの手法が長期時系列予測の適切なソリューションであるかどうかは、調査する価値のある興味深い問題です。この作業では、Transformer ベースの TSF ソリューションの有効性に疑問を投げかけます。彼らの実験では、比較された (非 Transformer) ベースラインは主に自己回帰予測ソリューションであり、避けられない誤差の蓄積効果により、一般に長期予測能力が低くなります。対照的に、比較のために直接マルチステップ (DMS) 予測を行う DLinear と呼ばれる非常に単純なアーキテクチャを使用します。DLinear は、時系列を傾向系列と剰余系列に分解し、2 つの単層線形ネットワークを使用してこれら 2 つの系列を予測タスク用にモデル化します。驚くべきことに、ほとんどの場合、既存の複雑な Transformer ベースのモデルよりも大幅に優れています。したがって、既存の作業におけるTransformer ベースのTSF ソリューションの比較的高い長期予測精度は、Transformer アーキテクチャの時間関係抽出機能とはほとんど関係がないと結論付けます。代わりに、これは主に、彼らが使用する非自己回帰DMS 予測戦略によるものです。この調査が、他の時系列分析タスク (異常検出など) に対する Transformer ベースのソリューションの有効性を将来的に再検討することにも役立つことを願っています。
Transformer モデルの前提は、対になった要素間の意味的相関ですが、自己注意メカニズム自体は順列不変です。時系列の生の数値データ (株価や電気料金など) を考慮すると、それらの間に点ごとの意味的な相関関係はほとんどありません。時系列モデリングでは、一連の連続したポイント間の時間的な関係に主に関心があり、ペアリングの関係ではなく、これらの要素の順序が最も重要な役割を果たします。位置エンコーディングを採用し、トークンを使用してサブシリーズを埋め込むと、順序付け情報を保持するのに役立ちますが、順序不変の自己注意メカニズムの性質により、必然的に一時的な情報が失われます。上記の観察により、Transformer ベースの LTSF ソリューションの有効性を再検討することに関心があります。