この記事は、Distillation Learning Review シリーズの 4 番目の記事であり、Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks の翻訳です。
視覚知能における知識の蒸留と生徒と教師の学習: レビューと新たな展望
まとめ 1 はじめに 2 KDとは何ですか? なぜそれを気にする必要があるのでしょうか？ 3 KD の理論的分析 教師の数に基づいて 4 KD 4.1 教師からの蒸留 4.1.1 ロジットからの知識 4.1.2 中間層からの知識 4.2 複数の教師からの抽出 4.2.1 ロジット集合からの蒸留 4.2.2 機能セットからの抽出 4.2.3 統合データソースによる蒸留 4.2.4 単一の教師から複数のサブ教師へ 4.2.5 異種混合の教師から生徒をカスタマイズする 4.2.6 仲間と学ぶ 5 データフォーマットに基づく抽出 5.1 データフリー蒸留 5.1.1 メタデータに基づく蒸留 5.1.2 クラス類似性に基づく蒸留 5.1.3 発電機を使用した蒸留 5.1.4 データフリー蒸留が直面する未解決の課題 5.2 少数のデータサンプルを使用した蒸留 5.2.1 擬似インスタンスによる蒸留 5.2.2 階層推定による抽出 5.2.3 課題と可能性 5.3 クロスモーダル蒸留 5.3.1 監視付きクロスモーダル蒸留 5.3.2 教師なしクロスモーダル蒸留 5.3.3 教師から学ぶ 5.3.4 複数の教師からの学習 5.3.5 潜在的な未解決の課題 6 オンラインおよび教師不要の蒸留 6.1 オンライン蒸留 6.1.1 学生の個人旅行 6.1.2 学生間でのブロックの共有 6.1.3 生徒の組み合わせ 6.1.4 概要と未解決の課題 6.2 教師なし蒸留 6.2.1 再生蒸留 6.2.2 綿密な監視による蒸留 6.2.3 データ拡張蒸留 6.2.4 フレームワーク変更の抽出 6.2.5 概要と未解決の課題 7 ラベルが必要またはラベルなしの蒸留 7.1 ラベル表示に必要な蒸留 7.1.1 元のラベルの KD 7.1.2 KD の疑似ラベル 7.2 ラベルフリー蒸留 7.2.1 知識豊富な KD 7.2.2 メタ知識の作成 7.3 可能性と課題 8 KD (新しい学習済みメトリクスを含む) 8.1 敵対的学習による蒸留 8.1.1 KD における GAN の基本式 8.1.2 GAN は KD にどのように役立ちますか? 8.1.3 概要と未解決の課題 8.2 グラフ表現の蒸留 8.2.1 記号と定義 8.2.2 グラフベースの蒸留 8.3 半教師あり学習および自己教師あり学習のための蒸留 8.3.1 半教師あり学習 8.3.2 自己教師あり学習 8.3.3 潜在的な未解決の課題 8.4 少数ショット学習 8.4.1 課題は何ですか? 8.5 漸進学習 8.5.1 単一の教師からの蒸留 8.5.2 マルチティーチャーからの蒸留 8.5.3 オープンチャレンジ 8.6 強化学習 8.6.1 共同蒸留 8.6.2 RL 蒸留に基づくモデル圧縮 8.6.3 ランダムネットワーク蒸留 8.6.4 RL ベースの蒸留の可能性 9 視覚知能の応用 9.1 セマンティックとモーションのセグメンテーション 9.2 KD の視覚的検出と追跡 9.2.1 一般的なオブジェクトの検出 9.2.2 歩行者の検知 9.2.3 顔検出 9.2.4 車両の検出と運転学習 9.2.5 姿勢検出 9.3 ドメイン適応 9.3.1 半教師あり DA 9.3.2 教師なし DA 9.4 奥行きとシーンのトラフィック検出 9.5 画像の翻訳 ビデオ理解のための 9.6 KD 9.6.1 ビデオの分類と認識 9.6.2 ビデオの注釈 10 件のディスカッション 10.1 モデルが大きいほど教師として優れていますか? 10.2 教師の事前トレーニングは重要ですか? 10.3 再生自己蒸留の方が優れていますか? 10.4 一人の教師と複数の教師 10.5 データフリー蒸留は十分に効率的ですか? 10.6 ロジットと機能 10.7 KDの解釈可能性 10.8 ネットワーク構造とKDの有効性 11 新たな角度と視点 11.1 NASの可能性 11.2 GNN の可能性 11.3 非ユークリッド蒸留メトリクス 11.4 より優れた特徴表現 11.5 より建設的な理論分析 11.6 特殊な視覚障害の可能性 11.7 視覚、音声、NLPの統合 12 結論