【論文】トランスフォーマー・イン・タイムズシリーズ：ある調査

抽象的な

このペーパーでは、時系列モデリングのための Transformer スキームと に焦点を当てて、そのスキームを体系的にレビューしstrengthsますlimitations。
特に、時系列トランスフォーマーの開発を 2 つの観点から検討します。

• network structure. 課題に対応するためにトランスフォーマーに加えられた適応と修正を要約します。
• applications: 予測、異常検出、分類などの一般的なタスクに基づいて時系列 Transformer を分類します。

Github: time-series-transformers-review

導入

Seasonalityまたは、periodicity長距離と短距離の時間依存性を効果的にモデル化し、季節性を捉えることが同時に課題として残されています。

Transformer の準備 (Transforms の準備)

バニラトランスフォーマー

ヴァイラ変圧器解析

入力エンコーディングと位置エンコーディング

LSTM や RNN とは異なり、バニラ Transformer には再発がありません。代わりに、入力埋め込みに追加された位置エンコーディングを利用して、シーケンス情報をモデル化します。いくつかの位置エンコーディングを以下にまとめます。

絶対位置エンコーディング

バニラのTransformerでは、各位置のインデックス$t$、エンコード ベクトルは次の式で与えられます。

ここで、${おお}_{}$は各次元の作成された周波数です。もう 1 つの方法は、より柔軟な各位置の一連の位置埋め込みを学習することです。

相対位置エンコーディング

マルチヘッドアテンション

時系列におけるトランスフォーマーの分類

時系列のネットワーク変更

位置エンコーディング

時系列の順序が重要であるため (時間系列の順序が重要であるため)、入力時系列の位置を Transformer にエンコードすることが非常に重要です。一般的な設計では、最初に位置情報をベクトルとしてエンコードし、次にそれらを入力時系列とともに追加入力としてモデルに注入します。Transformer で時系列をモデリングするときにこれらのベクトルを取得する方法は、主なカテゴリに分類できます。

• Vanilla positional Encoding: 時系列データの重要な特徴を十分に活用できていない
• Learnable Positional Encoding: バニラの位置エンコーディングは手作業で作成されており、表現力や適応性が低いため、時系列データから適切な位置エンベディングを学習する方がはるかに効果的であることがいくつかの研究で判明しました。固定バニラ位置エンコーディングと比較して、学習された埋め込みはより柔軟で、特定のタスクに適応できます。
• TimeStamp Encoding