本日紹介する記事は、2023 年 2 月にハーバード大学が発行した時系列記事です。クロスドメイン機能とラベル オフセットの問題を効果的に解決できる時系列ドメイン適応フレームワークを提案しています。
論文のタイトル: 機能とラベルのシフト下での時系列のドメイン適応
ダウンロードリンク：https://arxiv.org/pdf/2302.03133v1.pdf
1
モチベーション
ドメイン適応は、機械学習の分野における広範な研究の対象です. ドメイン適応の関連研究については、これまでの多くの記事で紹介してきました (興味のある学生は、ドメイン適応: 教師ありデータ シナリオにおける転移学習ツールの欠如を参照してください)。
時系列シナリオでは、データ セットが異なるとデータ分布に大きな違いがあり、主に特徴とラベルの違いに反映されます。たとえば、ヘルスケア データ セットでは、各人の健康指標シーケンスは非常に異なります.私たちは、強力な一般化モデルを構築し、各人に個別のシーケンスを作成するのではなく、分布の大きな違いでこれらのシーケンスを同時にモデル化することを望んでいます.モデル。現時点では、ドメイン適応の考え方は非常に適しています。異なる配列間の共通情報をマイニングし、この共通情報を使用して下流の分類または予測タスクを実行します。
この論文では、ドメイン適応を使用して時系列モデルを確立します.コアは、時間ドメインの特徴と周波数ドメインの特徴の両方を考慮して、異なるドメインシーケンスの共通性を最大化することです. 以前の研究では、周波数領域の次元の特徴の共通性を無視しながら、時間の特徴の次元で異なる領域の共通性を抽出することに焦点を当てていました。周波数領域は、2 つの領域の共通性情報をマイニングするのに役立つ場合があります。たとえば、下の図では、時間領域での 2 つのシーケンスの分布は大きく異なりますが、周波数領域での分布は類似しています。同時に、ドメイン適応の効果は、2 つのドメインの共通情報の増加と改善に伴って増加し、向上します。したがって、この論文の核心は、周波数ドメインと時間ドメインの特性を同時に考慮し、異なるドメイン間の共通情報をマイニングすることです。
2
問題定義
この論文で解決された時系列問題は、ソースドメインの多変量時系列と各シーケンスのラベルが与えられ、ターゲットドメインの多変量時系列がラベルが不明である場合、2 つのドメインのラベルセットは違う。目標は、ソース ドメインで分類モデルをトレーニングすることです。これにより、次の 2 つの目的を達成できます。
分類: ターゲット ドメインのラベルとソース ドメインのラベル セットについては、正確に予測できます。
認識: ソース ドメインのラベル セットにないターゲット ドメインのラベルを認識できます。
3
フレーム全体
このホワイト ペーパーで提案されているモデルには、時間領域と周波数領域のエンコーダ、分類器、および補助デコーダの 3 つのコア モジュールが含まれています。その中で、時間ドメインと周波数ドメインのエンコーダーはシーケンス内の時間ドメインと周波数ドメインの情報を抽出するために使用され、分類器は時系列を分類して主なタスクを達成するために使用され、補助デコーダーは生成された表現を復元するために使用されます。モデル生成をより豊かなものへと導く意味的意味の表現。
上記の 3 つのモジュールに基づいて、Align、Correct、および Inference の 3 つのコア段階がこの論文で提案されています。Align ステージでは、Sinkhorn アルゴリズムを使用して 2 つのドメインの分布を整列させ、Correct ステージでは、Encoder-Decoder 構造を使用してシーケンスを復元し、Encoder によって生成された表現を最適化します。推論段階では、分類と認識の 2 つのタスクを実行する方法が設計されます。
4
実装の詳細
Align ステージでは、エンコーダーを使用してソース ドメインとターゲット ドメインの配列をベクトルにエンコードし、シンクホーン アルゴリズムを使用して 2 つのドメインの表現を整列させます。エンコーダー部分には、時間ドメイン エンコーダーと周波数ドメイン エンコーダーがあり、2 つのエンコーダーはそれぞれ 2 つのベクトルを生成し、シーケンスの時間ドメインおよび周波数ドメイン表現として結合されます。その中で、時間領域エンコーダは既存の任意の方法を使用でき、周波数領域エンコーダは離散フーリエ変換 + 畳み込みの方法を採用します。
次に、論文はシンクホーン アルゴリズムを使用して、2 つのドメインの表現を整列させます。KL ダイバージェンスや DA で一般的に使用される MMD など、2 つの分布を一致させる方法は多数あります。Sinkhorn アルゴリズムは、実際には OT を解決するための派生可能なアルゴリズムであり、アライメントによく使用されます. たとえば、NLP でのテキスト マッチングの解釈可能性は、sinkhorn によって解決されることがよくあります (ナレッジ プラネットの OT ベースの NLP 解釈可能性の記事で紹介されました)。 . この論文は、シンクホーンが他の方法により距離を計算することを示しています。最後に、sinkhorn によって計算された位置合わせ距離が損失関数に追加され、エンコーダーによって生成された 2 つの ddomain の表現がより近くなります。
正しいフェーズの主な目標は、トレーニング プロセス中に Decoder を導入して再構築タスクを実行することです。これにより、ターゲット ドメインの時系列の Encoder によって生成される表現に、より多くのセマンティック情報が含まれるようになります。ここでの重要な役割は、ソース ドメインのラベル コレクションにないサンプルをターゲット ドメインで見つけることです。共有エンコーダーによって生成された表現が最初に使用されるため、ターゲット ドメインのシーケンス ラベルがソース ドメインのラベル セットに含まれている場合、再構築タスクによって修正されたその表現が大きく逸脱することはありません (同じラベルのサンプルソース ドメイン ラベル セットに含まれていないシーケンスは、広範囲のオフセットを持つことになります。この情報を使用して、サンプル カテゴリの判断を推論段階で実現できます。
推論段階では、コアは修正前後の式を使用して、ソースドメインのラベルセットにないシーケンスを特定することです。この論文では、ラベルごとにプロトタイプ ベクトルが生成され、現在のサンプルから各プロトタイプまでの距離が判断されます。配列の場合、修正前後のプロトタイプとの距離の変化を見て、距離が大きく変化する場合は、ソースドメインのラベルセットに含まれていないサンプルであると考えられます。
モデルの全体的なアルゴリズム フローは次のとおりです。
5
実験効果
本論文の主な実験結果は以下のとおりであり、本論文や他の 8 Domain Adaptation 手法の複数データセットに対する効果と比較して、非常に大きな効果改善を達成している。
6
要約する
時系列の分野におけるドメイン適応の適用は、広く研究されている問題です.複数のデータオフセットを持つ小さなサンプルデータセットの場合、ドメイン適応をうまく利用することで、時系列の予測や分類などのタスクのパフォーマンスを大幅に向上させることができます.
推荐阅读：
我的2022届互联网校招分享
我的2021总结
浅谈算法岗和开发岗的区别
互联网校招研发薪资汇总
2022届互联网求职现状，金9银10快变成铜9铁10！！
公众号：AI蜗牛车
保持谦逊、保持自律、保持进步
发送【蜗牛】获取一份《手把手AI项目》（AI蜗牛车著）
发送【1222】获取一份不错的leetcode刷题笔记
发送【AI四大名著】获取四本经典AI电子书