時系列の自己教師あり学習に関する浙江大学、アリババ、その他の単元による最近のレビュー記事をよく読むと、自己教師あり学習と時系列の応用を理解するのに役立ちます。
自己教師あり学習の概要
自己教師あり学習 (SSL) は、ラベルのないデータから教師信号を抽出する機械学習手法であり、教師なし学習のサブセットです。この方法では、「プリセット タスク」を作成することでモデルがデータから学習し、後続のタスクで使用できる有用な表現を生成できます。監視信号はデータ自体から直接得られるため、人間がラベルを付けたデータを追加する必要はありません。適切に設計された事前設定されたタスクを通じて、自己教師あり学習は、コンピューター ビジョン (CV) や自然言語処理 (NLP) などの分野で大きな成功を収めています。
これらの事前設定タスクでは通常、モデルが何らかの形式からデータの他の部分を予測する必要があります。たとえば、自然言語処理タスクでは、事前設定されたタスクに、特定の単語をマスクしてからそれらを予測する (「マスク言語モデル」と呼ばれる) ことや、文の順序を並べ替えてモデルに正しい順序を理解させることが含まれる場合があります。コンピューター ビジョンでは、事前設定されたタスクには、画像の一部の色の予測や、画像の一部が歪んでいるか回転しているかどうかを判断することが含まれる場合があります。
自己教師あり学習の重要な利点は、大量のラベルなしデータから学習できることです。多くの場合、ラベル付きデータよりもこのデータの取得が容易です。さらに、このアプローチは手動のラベル付けに依存しないため、ラベル付けエラーの影響を軽減できます。自己教師あり学習は、さまざまなタスクにおいて教師あり学習に匹敵するパフォーマンスを示しており、さまざまな実践的な問題に対処する上で大きな可能性を秘めています。
自己教師あり学習 (SSL) 手法は、一般に次の 3 つのカテゴリに分類できます。
生成ベースの方法: この方法では、最初にエンコーダを使用して入力 x を表現 z にマッピングし、次にデコーダを使用して z から x を再構成します。トレーニングの目標は、入力と再構成された入力の間の再構成誤差を最小限に抑えることです。生成ベースの SSL の一般的な例はオートエンコーダです。オートエンコーダは、元の入力と再構築された入力の間の誤差を最小限に抑えることで、入力データの効率的な表現を学習します。
コントラストベースのアプローチ: これは最も広く使用されている SSL 戦略の 1 つで、データ拡張またはコンテキスト サンプリングを通じてポジティブ サンプルとネガティブ サンプルを構築します。次に、2 つの肯定的なサンプル間の相互情報を最大化することによってモデルがトレーニングされます。対照的な方法では、通常、InfoNCE 損失などの対照的な類似性の尺度が使用されます。コントラストベースの方法のよく知られた例は SimCLR です。これは、元の画像と強化された画像の表現を比較することによって効果的な画像表現を学習します。
敵対的ベースのメソッド: このメソッドは通常、ジェネレーターとディスクリミネーターで構成されます。ジェネレーターは偽のサンプルを生成し、ディスクリミネーターはそれらを本物のサンプルと区別するために使用されます。このアプローチの典型的な応用例は、敵対的生成ネットワーク (GAN) です。GAN は、敵対的プロセスを通じてジェネレーターとディスクリミネーターの間のバランスを見つけ、現実的な偽サンプルを生成し、ジェネレーターのパフォーマンスを向上させます。
世代ベースのアプローチ
時系列モデリングのコンテキストでは、一般的に使用されるプリセット タスクには、過去のシーケンスを使用して将来のウィンドウまたは特定のタイムスタンプを予測すること、エンコーダーとデコーダーを使用して入力を再構築すること、および隠された時系列部分の不可視性を予測することなどが含まれます。
自己回帰に基づく予測
この方法は、過去のシーケンス (時系列の前の値など) を使用して将来の値を予測しようとします。
その中にはシングルステップ予測があり、1 より大きい場合はマルチステップ予測、つまり予測関数です; 学習損失関数は、予測される将来の値が真の値にできるだけ近いことを望みます。
その中にはMSEなどの距離に関する記述もあります。
関連研究: THOC は、Temporal Self-Supervision (TSS) と呼ばれる、多重解像度のシングルステップ予測用の自己教師付きプリセット タスクを構築します。TSS は、モデルとしてスキップ接続構造を持つ L 層拡張 RNN を使用します。ジャンプ長を設定すると、予測タスクを異なる解像度で同時に実行できるようになります。STraTS は、不規則でまばらな時系列データをモデル化する際に、基本的な RNN および CNN を使用する際の制限を回避するために、まず時系列データを 3 値表現にエンコードし、次に、多変量医療臨床時系列をモデル化するための Transformer ベースの予測モデルを構築します。グラフベースの時系列予測方法は、自己監視型のプリセット タスクとしても使用できます。RNN や CNN と比較して、グラフ ニューラル ネットワーク (GNN) は、GDN などの多変量時系列データ内の変数間の相関をより適切に捕捉できます。上記の方法とは異なり、SSTSC は自己教師ありプリセット タスクとして「過去-アンカー-未来」戦略に基づく時間関係学習予測タスクを提案します。SSTSC は、将来の時間ウィンドウの値を直接予測するのではなく、時間ウィンドウ間の関係を予測するため、データ内の時間関係構造を完全にマイニングできます。
オートエンコーダーに基づく再構成
オートエンコーダは、エンコーダとデコーダで構成される教師なしの人工ニューラル ネットワークです。エンコーダーは入力を表現にマップし、デコーダーは表現を入力に再マップします。デコーダの出力は、再構築された入力として定義されます。
ここで、 と はそれぞれエンコーダとデコーダを表しており、任意の形式のニューラル ネットワークを使用できます。学習された損失関数は、再構成エラーが可能な限り小さいことを期待します。
関連研究: TimeNet、PT-LSTM-SAE、および Autowarp はすべて RNN を使用して、エンコーダーとデコーダーを含むシーケンス オートエンコーダー モデルを構築し、モデルは入力シーケンスの再構築を試みます。モデルが学習されると、エンコーダーは時系列サンプルの埋め込み表現を取得するための特徴抽出器として使用されます。これにより、分類や予測などの下流のタスクのパフォーマンスが向上します。
ただし、再構成エラーを通じて取得された表現はタスクに依存しません。したがって、追加のトレーニング制約を導入することを検討できます。Abdulaal らは、複雑な非同期多変量時系列データに焦点を当て、オートエンコーダー モデルにスペクトル解析を導入しました。データ内の位相情報を学習することにより、時系列の同期表現が抽出され、最終的に異常検出タスクに使用されます。DTCR は、時間クラスタリングに適した表現学習モデルです。再構成タスクに K 平均法制約が導入され、学習された表現がクラスタリング タスクにより適したものになります。USAD は、1 つのエンコーダーと 2 つのデコーダーを使用してオートエンコーダー モデルを構築し、敵対的トレーニングを導入してモデルの表現機能を強化します。FuSAGNet は、多変量時系列の関係を明示的にモデル化するために、スパース オートエンコーダーでのグラフ学習を導入しています。
普及モデルに基づく生成
拡散モデルは、新しいタイプの深層生成モデルとして、その強力な生成機能により、画像合成、ビデオ生成、音声生成、バイオインフォマティクス、自然言語処理などの多くの分野で最近大きな成功を収めています。
拡散モデルの主要な設計には、2 つの相反するプロセスが含まれます。1 つはランダム ノイズを注入してデータを破損する順方向プロセスで、もう 1 つはノイズ分布 (通常は正規分布) からサンプルを生成する逆方向プロセスです。現在、拡散モデルには 3 つの基本的な形式があります。ノイズ除去拡散確率モデル (DDPM)、フラクショナル マッチング拡散モデル、およびフラクショナル SDE です。
関連研究: Conditional Fractional Diffusion Model for Interpolation (CSDI) は、観測データに基づく分数拡散モデルを利用する新しい時系列補間法を提案します。内挿用にトレーニングされており、時系列シーケンスの最後にデータを挿入することで簡単に予測を行うことができます。実際にアクセスできない実際の欠損値の問題に対処するために、アーキテクチャ全体をトレーニングするために値が欠損としてマークされる自己教師ありトレーニング プロセスも提案されています。さらに、時系列を予測するために拡散モデルを利用した作品もいくつかあります。TimeGrad は、特定のタイム ステップで条件付き拡散確率モデルを使用して、固定順プロセスと学習された逆プロセスを記述します。処理段階では、時系列の相互相関もプロットされます。これは、モデルの負の対数尤度を最小化するパラメーターを最適化することで勾配を学習する、多変量時系列予測用の自己回帰モデルです。
比較ベースのアプローチ
対照学習は、コンピュータ ビジョンと自然言語処理において強力な学習機能を発揮する、広く使用されている自己教師あり学習戦略です。実際のラベルへのマッピング規則を学習する識別モデルや、入力を再構築しようとする生成モデルとは異なり、コントラストベースの手法は、ポジティブサンプルとネガティブサンプルの比較を通じてデータ表現を学習することを目的としています。具体的には、陽性サンプルは同様の表現を持つ必要がありますが、陰性サンプルは異なる表現を持つ必要があります。したがって、コントラストベースの方法では、ポジティブサンプルとネガティブサンプルの選択が非常に重要です。
サンプリング比較方法
サンプリング比較方法は、2 つの隣接するタイム ウィンドウまたはタイムスタンプが高度な類似性を持っているという時系列分析で広く使用されている仮定に従い、したがって、正のサンプルと負のサンプルは元の時系列から直接サンプリングされます。具体的には、アンカーとしてタイム ウィンドウ (またはタイムスタンプ) を指定すると、それに近いウィンドウ (またはタイムスタンプ) は類似する可能性が高くなります (距離が小さい) が、遠く離れたウィンドウ (またはタイムスタンプ) は類似しないはずです (距離が大きい)。「類似」とは、2 つのウィンドウ (または 2 つのタイムスタンプ) が、同じ振幅、同じ周期性、同じ傾向など、より共通したパターンを持つことを意味します。
予想比較方法
このカテゴリでは、コンテキスト (現在の情報) を使用してターゲット (将来の情報) を予測する予測タスクは、自己教師ありプレテキスト タスクとみなされ、その目標はコンテキストとターゲットの相互情報を最大化することです。対照予測コーディング (CPC) は、InfoNCE 損失を使用して予測タスクを実行する対照学習フレームワークを提供します。具体的には、コンテキストとサンプルはポジティブなペアを形成しますが、「提案」分布内のサンプルはネガティブなサンプルです。学習された損失関数は次のとおりです。
CPC は将来の観測値を直接予測するのではなく、合計の相互情報を保存しようとします。これにより、モデルは複数のタイム ステップにわたる「遅い特徴」をキャプチャできるようになります。CPC の構造に基づいて、LNT、TRL-CPC、TS-CP2、スキップステップ CPC が提案されています。LNT と TRL-CPC は、元の CPC と同じ構造を使用して表現学習モデルを構築し、時間のローカル セマンティクスをキャプチャすることで外れ値を検出することを目的としています。TS-CP2 とスキップステップ CPC は、元の CPC 構造の自己回帰モデルを TCN に置き換え、特徴学習機能と計算効率を向上させます。さらに、Skip-Step CPC は、コンテキスト表現とコンテキスト間の距離を調整すると、異なる正のサンプル ペアが構築され、それが時系列異常検出で異なる結果をもたらす可能性があると指摘しています。CMLF は、時系列を粗粒表現と細粒表現に変換し、多粒度の予測タスクを提案します。これにより、モデルはさまざまなスケールで時系列を表現できるようになります。
強調コントラスト法
拡張コントラスト法は、最も広く使用されているコントラスト フレームワークの 1 つです。ほとんどの方法では、データ拡張技術を利用して入力サンプルのさまざまなビューを生成し、同じサンプルからのビューの類似性を最大化し、異なるサンプルからのビューの類似性を最小化することで表現を学習します。SimCLR は、マルチビュー不変性に基づく非常に典型的な表現学習フレームワークであり、その後の多くの手法で採用されています。このフレームワークに基づく損失関数は通常、
時系列強調方法では、画像強調方法とは異なり、時間と変数の両方の依存関係を考慮する必要があります。
時系列データはフーリエ変換によって周波数領域表現に変換できるため、時間領域と周波数領域の両方で強調方法を開発できます。時間領域では、TS-TCC とその拡張バージョン CA-TCC は、強力な拡張 (Permutation-and-Jitter) と弱い拡張 (Jitter-and-Scale) という 2 つの時系列データ拡張テクノロジーを設計します。別の方法である TS2Vec は、特定のタイム ステップをランダムにマスクすることによって、さまざまなビューを生成します。一般に、どのデータ拡張方法を選択するかについての統一された標準的な答えはありません。
周波数領域でのデータ拡張は、時系列データに対しても実現可能です。CoST と呼ばれる季節傾向表現の学習方法があります。これは、高速フーリエ変換を使用して、さまざまな強化されたビューを振幅表現と位相表現に変換し、特定のトレーニング モデルを通じてこれらのビューをトレーニングします。もう 1 つの方法である BTSF は、時間周波数融合戦略に基づく対照的な方法です。BTSF は、最初にドロップアウト操作を通じて時間領域で強化されたビューを生成し、次にフーリエ変換を通じて周波数領域で別の強化されたビューを生成します。最後に、双線形時間-周波数融合メカニズムを使用して、時間-周波数情報の融合を実現します。ただし、CoST と BTSF は周波数表現を直接変更しません。対照的に、TF-C は周波数摂動を通じて時系列データを強化する最初の作品であり、そのパフォーマンスは TS2Vec および TS-TCC を上回ります。TF-C は、低周波数から高周波数への摂動、単一成分から複数成分への摂動、およびランダムから分散摂動への 3 つの強化戦略を実装します。
試作比較方法
プロトタイプの対照学習フレームワークは本質的にインスタンス識別タスクであり、サンプルが特徴空間内で均一な分布を形成するように促します。ただし、実際のデータ分布は、類似したサンプルが 1 つのクラスターに集中している一方で、異なるクラスター間の距離はより遠いということを満たしている必要があります。SCL は、実際のラベルが利用可能な場合には理想的なソリューションですが、実際には、特に時系列データの場合、これを実装するのは困難です。したがって、CC、PCL、SwAV などの既存の対照学習フレームワークにクラスタリング制約を導入することが代替手段となります。PCL と SwAV は、サンプルを構築されたプロトタイプ、つまりクラスター中心と比較します。これにより、計算量が削減され、サンプルが特徴空間内でクラスター化に適した分布を示すことが促進されます。
プロトタイプのコントラスト ベースの時系列モデリングでは、ShapeNet は Shaplet を入力として受け取り、アンカー ポイントと複数の正 (負) サンプルの間の距離、およびサンプル間の正 (負) 距離を考慮するクラスター レベルの三重項損失を構築します。ShapeNet は、トレーニング段階で明示的なプロトタイプ (クラスタリング センター) を導入しないため、暗黙的なプロトタイプ比較です。TapNet と VSML は、明示的なプロトタイプを導入しているため、明示的なプロトタイプの比較です。TapNet は、事前定義されたカテゴリごとに学習可能なプロトタイプを導入し、入力時系列サンプルと各カテゴリ プロトタイプ間の距離に基づいて分類を実行します。VSML は、プロトタイプと同じ機能を実行する仮想シーケンスを定義します。つまり、サンプルと仮想シーケンス間の距離は最小化されますが、仮想シーケンス間の距離は最大化されます。
MHCCL は、上向きマスキング戦略に基づく階層的クラスタリングと、下向きマスキング戦略に基づく比較選択戦略を提案しています。上向きマスキング戦略では、MHCCL は外れ値がプロトタイプに大きな影響を与えるとみなしているため、プロトタイプを更新するときにこれらの外れ値を削除する必要があります。次に、下向きマスキング戦略は、クラスタリング結果を使用して陽性サンプルと陰性サンプルを選択します。つまり、同じプロトタイプに属するサンプルは真の陽性サンプルとみなされ、異なるプロトタイプに属するサンプルは真の陰性サンプルとみなされます。
専門知識の比較方法
専門知識の比較は、表現学習のための比較的新しいフレームワークです。一般に、このモデリング フレームワークは、専門家の事前の知識や情報をディープ ニューラル ネットワークに組み込んで、モデル トレーニングをガイドします。対照学習フレームワークでは、事前知識は、モデルがトレーニング プロセス中に正しい正のサンプルと負のサンプルを選択するのに役立ちます。
たとえば、Shi et al. は、時系列サンプルの DTW 距離を事前情報として使用し、距離が小さい 2 つのサンプルの類似性が高いと考えました。具体的には、アンカー ポイントと他の 2 つのサンプルが与えられた場合、まずアンカー ポイントと他の 2 つのサンプルの間の DTW 距離が計算され、次にアンカー ポイントからの距離が小さいサンプルがアンカー ポイントの正のサンプルとみなされます。
敵対的なアプローチ
敵対的ベースの自己教師あり表現学習手法では、敵対的生成ネットワーク (GAN) を使用してプレテキスト タスクを構築します。GAN にはジェネレーター G とディスクリミネーター D が含まれています。生成器Ｇは、実データに類似した合成データを生成する役割を果たし、識別器Ｄは、生成されたデータが実データであるか合成データであるかを判定する役割を担う。したがって、ジェネレータの目標は、ディスクリミネータの決定失敗率を最大化することであり、ディスクリミネータの目標は、その失敗率を最小限に抑えることです。生成器Ｇと識別器Ｄとはゲーム関係にある。
時系列の生成と代入
完全な時系列生成とは、既存のデータ セット内に存在しない新しい時系列を生成することを指します。新しいサンプルは、単変量時系列または多変量時系列にすることができます。C-RNN-GAN は、GAN を使用して時系列サンプルを生成する初期の方法です。ジェネレータは RNN で、ディスクリミネータは双方向 RNN です。RNN ベースの構造は、複数のタイム ステップの動的な依存関係をキャプチャできますが、データの静的な特性は無視されます。TimeGAN は、基本的な GAN と自己回帰モデルを組み合わせた改良された時系列生成フレームワークであり、時系列の時間的な動的特性を保存できるようにします。TimeGAN は、静的特徴と時間的特徴が生成タスクにとって重要であることも強調しています。
最近提案された手法の中には、より複雑な時系列生成タスクを考慮したものもあります。たとえば、COSCI-GAN は、多変量時系列の各次元間の関係を考慮する時系列生成フレームワークです。これには、チャネル GAN と中央識別子が含まれます。チャネル GAN は各次元のデータを独立して生成する役割を果たしますが、Central Discriminator は、生成されたシーケンスの異なる次元間の関係が元のシーケンスと同じかどうかを判断する役割を果たします。PSA-GAN は長期シーケンス生成のためのフレームワークであり、セルフアテンション メカニズムを導入しています。TTS-GAN は、不規則な時空間関係を持つ時系列データの生成を検討するもので、Transformer を使用して識別器と生成器を構築し、時系列データを高さ 1 の画像データとして扱います。
新しい時系列の生成とは異なり、時系列補完のタスクは、不完全な時系列サンプル (たとえば、一部のタイム ステップのデータが欠落している) が与えられた場合、欠落している値をコンテキスト情報に基づいて埋める必要があることです。Luo らは、欠損値補完の問題をデータ生成タスクとして扱い、敵対的生成ネットワーク (GAN) を使用してトレーニング データセットの分布を学習します。シリーズの動的な特性をよりよく捉えるために、彼らは GRUI モジュールを提案しました。GRUI モジュールは、タイムラグ マトリックスを使用して、不完全な時系列データの実効値間のタイムラグ情報を記録します。この情報は、未知の不均一分布に従い、シーケンスの動的な特性を分析するのに非常に役立ちます。GRUI モジュールは E2GAN でもさらに使用されます。SSGAN は、時系列データ内挿のための半教師ありフレームワークであり、生成ネットワーク、識別ネットワーク、分類ネットワークが含まれています。以前のフレームワークとは異なり、SSGAN の分類ネットワークはラベル情報を完全に利用するため、モデルはより正確な内挿を実現できます。
補助表現の強化
生成および補間タスクに加えて、敵対的ベースの表現学習戦略を追加の補助学習モジュールとして既存の学習フレームワークに追加できます。これを敵対的ベースの補助表現強化と呼びます。補助表現の強化は、敵対的ベースの学習戦略を追加することで、モデルが下流のタスクに対してより有益な表現を学習することを促進することを目的としています。通常は次のように定義されます
USAD は、それぞれ AE1 と AE2 として定義される 2 つの BAE モデルを含む時系列異常検出フレームワークです。USAD の背後にある中心的なアイデアは、2 つの BAE 間の敵対的トレーニングを通じて再構成エラーを増幅することです。USAD では、AE1 がジェネレーター、AE2 がディスクリミネーターとみなされます。補助的な目標は、AE2 を使用して AE1 の再構成データを実際のデータから区別し、AE2 を欺くように AE1 を訓練することです。
DUBCN と CRLI は、それぞれ系列の取得タスクとクラスタリング タスクに使用されます。どちらの方法もモデルとして RNN ベースの BAE を採用し、基本的な再構成損失にクラスタリングベースの損失と敵対的ベースの損失を追加します。
アプリケーションの選択
自己教師あり学習 (SSL) は、予測、分類、異常検出など、さまざまな時系列タスクに幅広く応用できます。
異常検出
時系列における異常検出の問題は、主に、特定の仕様または共通の信号に基づいて、異常な時点または異常な時系列を特定することです。異常データのラベルを取得するのは困難であるため、ほとんどの時系列異常検出手法では教師なし学習フレームワークが採用されています。それらの中で、自己回帰ベースの予測と自動エンコーダーベースの再構成は、最も一般的に使用されるモデリング戦略です。たとえば、THOC と GDN は、自己回帰予測に自己教師あり学習フレームワークを使用しており、異常なシーケンスや時点は予測不可能であると想定しています。RANSynCoders、USAD、AnomalyTrans、および DAEMON は、オートエンコーダー再構築に基づく自己教師あり学習フレームワークを使用しており、このフレームワークの原理は、異常なデータは再構築が困難であるということです。さらに、VGCRN と FuSAGNet は 2 つのフレームワークを組み合わせて、より堅牢で正確な検出結果を実現します。検出モデルに敵対的ベースの自己教師あり学習手法を導入すると、正常なデータと USAD や DAEMON などの異常なデータの差がさらに拡大する可能性があります。
予測する
時系列予測は、統計およびモデリング技術を使用して時系列データを分析することにより、将来の時間枠または時点を予測します。自己回帰予測に基づくプレテキスト タスクは、本質的に時系列予測タスクです。したがって、Pyraformer、FilM、Quatformer、Informer、Triformer、Scaleformer、Crossformer、Timesnet など、予測タスクに基づくさまざまなモデルが提案されています。時系列 (季節性や傾向など) を分解し、分解した要素を学習して予測することで、MICN や CoST などの最終予測の精度が向上することがわかりました。時系列に欠損値がある場合、敵対的自己教師あり学習を導入することが可能です。たとえば、LGnet は、グローバルな時間分布のモデリングを強化するために敵対的トレーニングを導入し、予測精度に対する欠損値の影響を軽減します。
分類とクラスタリング
分類およびクラスタリング タスクの目標は、特定の時系列サンプルが属する真のクラスを識別することです。対照学習の中核は陽性サンプルと陰性サンプルを識別することであるため、これら 2 つのタスクにはコントラストベースの自己教師あり学習方法が最適です。具体的には、TSTCC は時間的コントラストと文脈的コントラストを導入して、より堅牢な表現を取得します。TS2Vec と MHCCL は、強化されたビューに対して階層的対比学習戦略を実行するため、より堅牢な表現を取得できます。異常検出および予測タスクと同様に、敵対的ベースの自己教師あり学習戦略を分類およびクラスタリング タスクに導入することもできます。たとえば、DTCR は、エンコーダがより表現力豊かな表現を取得できるようにするための偽のサンプル生成戦略を提案しています。
要約すると、世代ベースの自己教師あり学習は異常検出および予測タスクにより適しており、コントラストベースの自己教師あり学習は分類およびクラスタリングタスクにより適しています。敵対的ベースの自己教師あり学習はさまざまなタスクで役割を果たすことができますが、ほとんどの場合、モデルによって抽出された特徴がより堅牢で有益であることを保証するための追加の正則化用語として使用されます。
参考文献
時系列分析のための自己教師あり学習: 分類、進捗状況、および展望
推奨読書:
2022年のネット就活の現状、金9銀10がもうすぐ銅9鉄10になる！！
公開アカウント: AI カタツムリ車
謙虚さを保ち、規律を保ち、改善し続ける
[カタツムリ]を送って「手をつないでAIプロジェクト」(AIカタツムリカート)を入手
[1222] を送信して、適切な leetcode テストノートを入手してください
[AI に関する 4 冊の古典的な書籍] を送信すると、4 冊の古典的な AI 電子書籍が入手できます