CVPR 2023 のドメイン適応: 自己蒸留正則化によるメモリ効率の高い CoTTA
目次
-
序文
-
メモリ比較
-
EcoTTAの導入
- メモリ効率の高いアーキテクチャ
- 自己蒸留正則化
-
実験
- 分類実験
- セグメンテーション実験
-
要約する
-
参考
序文
前回の記事ではCoTTA手法を紹介しましたが、今回はそれをベースにした最適化作品、CVPR 2023で採択されたEcoTTAについて紹介しました。前回の記事で、CoTTAの入力はタイムラインとともに変化するデータ（自動運転において刻々と切り替わる気象状況など）であり、学習タスクに伴うテストであると述べました。したがって、CoTTA は通常、メモリが限られたエッジ デバイスで実行されるため、メモリ消費量を削減することが重要です。これまでの TTA 研究では、メモリ消費量を削減することの重要性が無視されてきました。さらに、前の記事では、長期にわたる適応は致命的な忘れやエラーの蓄積につながることが多く、そのため現実世界の展開における TTA の適用が妨げられることにも言及しました。
EcoTTA には、これらの問題に対処する 2 つのコンポーネントが含まれています。最初のコンポーネントは、凍結された元のネットワークをターゲット ドメインに適応させる軽量のメタネットワークです。このアーキテクチャは、バックプロパゲーションに必要な中間アクティベーションの量を削減することにより、メモリ消費を最小限に抑えます。2 番目のコンポーネントは自己蒸留正則化で、凍結された元のネットワークの出力から大きく逸脱しないようにメタネットワークの出力を制御します。この正規化により、追加のメモリを必要とせずに、ソース ドメインからの知識が保存されます。この正規化により、エラーの蓄積と致命的な忘れが防止されます&#x