記事の概要
「Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting」は、2021 年に NeurIPS に掲載された記事です。この記事では、時系列分解モジュールを提案し、時系列予測問題、特に長期シーケンスに対するアテンション モジュールを革新します。
モデルプロセス
モデル全体のプロセスを大まかに以下の図に示します。
注意点:
1. Encoder 部分と Decoder 部分の詳細を以下の図に示します。
2. 「後半を取り出してスカラーで埋める」は2段階に分かれており、まず、先ほど計算した季節項目とトレンド項目のlabel_lenの長さのデータを取り出し、これを基にpred_lenの長さの定数データを埋め込みます（季節項目には0、トレンド項目にはx_encの平均値を埋め込みます）。すべてではなく後半を採用するのは、主に予測効果が同様であることを前提として計算量を削減するためです。
主な構造
分解アーキテクチャ
分解操作を通じて時系列データをいくつかのサブシーケンスに変換するというアイデアは、ARIMA などの従来の時系列予測手法に組み込まれてきました。著者はこのアイデアを深層学習モデルの構造設計に導入することに成功しました。以下の図に示すように。著者は、平均プーリングを使用して、スライディング ウィンドウの形式で時系列の全体的な傾向特徴 (傾向項目として示される) を抽出します。この場合、特徴抽出の前後でディメンションのサイズが変わらないことを保証するためにパディングが使用されます。次に、元のシーケンスとトレンド項目の差を取得して、両者の差 (季節項目として示されます) を取得します。これまでのところ、元の時系列は 2 つの長編シリーズに分解されています。
自己相関メカニズム
著者らは、シーケンスの自己相関を計算してサイクルベースの依存関係を発見し、時間遅延集約によって類似のサブシーケンスを集約することで情報の利用を改善する自己相関メカニズムを提案しています。
サイクルベースの依存関係著者らは、サイクル間の同じ位相位置のサブシーケンスが相関していることを発見しました。
確率過程理論によれば、2 つのシーケンスの相関は上記の式で求めることができます。τ(tao) は元の配列の翻訳長であり、この式は複数の配列の翻訳前後の相関を計算し、その平均値を求めることを目的としています。
しかし、このような計算方法では冗長すぎるため、著者はこの部分をウィーナー・キンチン定理に基づく高速フーリエ変換によって最適化し（計算式は上図、モデルの位置は下図左側の「逆FFT」）、計算量を軽減しています。
次に、得られた相関値 corr を使用し、相関値の平均値に従って最大 k 個を選択し、最も類似する場合の k 個の並進長 τ を取得します。次に、相関値 corr_k の k グループに対してソフトマックスが実行され、各グループの重みの合計が 1 になるようにします。
時間遅延集約遅延は、その名前が示すように、既存の時間から逆方向に繰り越されます。したがって、上図の右側に長さ L のいくつかのシーケンスが表示されます (最初の行は元のデータで、上図の左側の V から取得されます)。2 番目のシーケンスから開始して、前の短いセグメントがシーケンスの最後まで埋められていることがわかります。これは、シーケンスを端から端まで接続して円を形成し、以前に取得した τ に従って数回の τ 時間遅延を実行すると理解できます。最後に、遅延された k シーケンスに Softmax(corr_k) が乗算され、融合 (加重加算) されます。融合演算は単純な for ループ加算演算であり、これまでのところ AutoCorrelation の結果が得られます。
実験結果
実験に関係するデータセットは現実世界からのもので、エネルギー、交通、経済、気象、病気という 5 つの主流の時系列予測方向をカバーしています。
Autoformer が MAE と MSE で最高の結果を達成していることがわかります。（詳しい結果は原文をご覧ください）
アブレーション実験
著者は、提案された 2 つのモジュールの効果について一連のアブレーション実験を実行しました。
シーケンス分解モジュール
著者は、以前のいくつかの方法と彼自身の方法を比較しました。Origin は他人の独自の予測結果を意味します; Sep は季節時系列分解結果とトレンド時系列分解結果をモデルに追加し、別々に予測を行って最終的に結果をマージすることを意味します; この論文で提案されている時系列分解モジュールのフルバージョンを使用した私たちの手段です。タイミング分解モジュールのフルバージョンを使用した後、他の人のモデルの効果が大幅に改善されたことがわかります。Promotion 欄は記事の手法のはずですが、最後の行で将来 720 を予測しているのに 0.079 と小さいのが少し不思議です。
自己相関モジュール 自己
相関モジュールはアテンションメカニズムの革新的なものである.そこで,著者はそれと様々なアテンションメカニズム手法を比較した.表から,自己相関モジュールが他のアテンション手法よりも優れていることがわかる.同時に,上図の過去時系列に対する各メカニズムの焦点の違いから,自己相関メカニズムは周期的データ特徴に対してより強力な周期特徴抽出能力を持っていることがわかる.この能力の効果は,以前のグローバル情報抽出とスパース情報抽出の効果を上回っている。離散時系列データ。
要約する
記事の後半では、著者は主に Decoder 部分シーケンス分解モジュールの数、依存関係学習効果、複雑な季節モデリング効果、モデル効率を含むモデルの設計を分析します。一般的に、Autoformer には他のモデルと比較して独自の利点があり、従来の手法から導入されたシーケンス分解モジュールが時系列データの特徴を徐々に抽出し、自己相関メカニズムはアテンション メカニズムに基づいていますが、アテンション メカニズムとは大きく異なり、時系列データ自体の周期的特徴のマイニングに重点を置いています。
個人的には、分解モジュールは、さまざまな安定性と周期性を持つ多くの時系列データに使用できる万能薬だと思います。ただし、自己相関メカニズムは時系列データの周期的な探索により注意を払うため、周期性が弱い場合や正の場合に周期特徴の抽出を強制するのは自滅的になる可能性があります。もちろん、アイデアと方法の両方で実行可能な予測計画が提供されており、実行のためにデータに特定の効果を引き出す必要があります。