論文の解釈 - TimesNet モデル
論文 1:一般的な時系列分析のための時間 2D 変動モデリング
論文:
https://openreview.net/pdf?id=ju_Uqw384Oqtu
記事の解釈
この記事は、ICLR が 2023 年 2 月に公開したディープラーニングの予測モデルに関する記事です。このモデルは、時系列変化のモデリングを中心に、長期および短期の実行が可能な基本的な時系列モデル TimesNet を設計および提案しています。用語予測、欠損値の補充、異常検出 分類と分類の 5 つの主要なタスクにおいて全体的なリーダーシップを達成しました。(これは誇張です。写真を見てください)
ピンク色の部分は、TimesNet モデルが 5 つの主要な分野で最先端のレベルにあることを表しています。
理論部分
まず図を見てみましょう.
この図は、フーリエ変換 (FFT) を使用して時系列シーケンスの周期を見つけ、得られたさまざまな周期に従ってそれを分解する様子を示しています (以下に簡単に説明します)。
線形シーケンスが 2 つの正弦関数に変換できることを示し、これら 2 つの正弦関数 (1 つは 2Hz、もう 1 つは 3Hz) の周期と振幅を求めます。
任意の数列について、FFT を使用して複数の三角関数セットの組み合わせに変換し、すべての三角関数の周期の最小公倍数を見つけます。
上図に示すように、異なる周波数に応じてカットされ、1 次元の時系列シーケンスが複数の 2 次元テンソルに分割されます。
ここには、より巧妙な設計があります。つまり、モデル全体の動作プロセスでは、実際には 1 次元が 2 次元になり、その後 2 次元が再び 1 次元になるプロセスですが、サイクル内およびサイクル間の特性は次のとおりです。中央に保持されます。下の図はモデル部分全体を示しています。
モデル全体は nbeats に非常によく似ています。このモデルもタイムブロックモジュールを一つ一つ組み合わせて構成されています。
式の導出
式(1) FFT(.) は対応するシーケンスの周波数 f を求めることを意味します (f の値の範囲は 1 ～ 2/T)、Amp (.) は周波数に対応する周期振幅 p を求めることを意味し、Avg (.) はテキスト内で (Avg(・) によって C 次元から平均化されたものである) であることを意味します。私が理解しているのは、それがまずグループ C (タイミング シーケンスの複数のグループ) に対応し、タイミング シーケンスの各グループが使用できるということです。 FFT を実行して、対応する pi (周期振幅) のセットを見つけます。ここでの平均とは、すべての加算の平均を意味するのではなく、複数のシーケンスのセットにおける共通の周期振幅（すべて共通）（最小公倍数の形式も含む）を意味します。式 2 は、決定された周波数と対応する周期長の式を表し
ます
。 3 番目の pi fi は 2 次元テンソルの行数と列数を表し、
上の図に示すように、TimesNet は積み重ねられた TimesBlock で構成されます。入力シーケンスは最初に埋め込み層を通過して、深い特徴を取得します。
(1) 1 次元から 2 次元への変換: まず、入力された 1 次元時系列特徴量から周期を抽出し、それを 2 次元時系列変化を表す 2 次元テンソルに変換します。
(2) 2 次元時間変化表現の抽出: 2 次元テンソルの場合、その 2 次元局所性により、2D 畳み込みを使用して情報を抽出できます。ここでは、クラシックな Inception モデルを選択しました。
https://arxiv.org/pdf/1512.00567v3.pdf
inception v1 network
(3) 2 次元から 1 次元への変換: 抽出された時系列特徴について、情報を集約するために 1 次元空間に変換し直します。ここでの選択は適応集約であり、取得した 1 次元表現を対応する周波数の強度で重み付けして合計し、最終的な出力を取得します。
https://arxiv.org/pdf/2106.13008.pdf
