小さなサンプルの分類の概要(数ショット)いくつかのショット学習のまとめ

1.関連する問題

  • 半教師付き学習(ラーニングを半教師)が同時に仮説がデータを標識し、非標識いる最高から学ぶされる。正のサンプル半教師あり学習(ポジティブ標識されていない学習)は、半教師あり学習の特殊なタイプですのみ陽性サンプルなしカタログに記載されているを使用することができる。能動学習(能動学習)アルゴリズム選択によって有用な情報を提供することができる標識されていないデータの(有益な)標識は、バック学習モデルに、専門家によって与えられる。FSL教師あり学習のいずれかに、また、半教師付きとすることができます限られた監視情報から得られるデータに応じて、学習。
  • アンバランスな学習(アンバランス学習)データの種類ごとに。FSLタスクからのデータのカテゴリYY大きく傾斜分布を学習上の焦点は、すでに不足しています。
  • 転移学習(転移学習が)豊富なデータソースドメインからターゲットドメインのデータの不足量に転送知識にある。適応(ドメイン適応)のフィールドは、移行学習問題の一種である。関連移行の研究では、と呼ばれるゼロサンプルの学習(ZERO-SHOT学習)、それは既存のカテゴリの特性を学習する必要があり、新しいカテゴリを決定するために機能する前に見たことのない組み合わせに基づいている。FSL定義によれば、移行は必然FSL学習、しかし、ときに我々ではありません本質的に学習モビリティの一種であるデータセットの業績目標の監督を強化するために、追加の情報を使用しますが、ときに、ソースドメイン内のデータはあまりないかもしれません。
  • /学習は、(学ぶための学習)を学ぶために(メタ学習)Metalearning新しいタスクTT性能のPP上の他の地域の知識から学習データとメタ学習者(メタ学習者)のセットを提供することでアップグレードします。具体的には、元多くのメタ情報における学習課題(一般知識)における学習者、および新しいタスクに迅速に一般化したタスクに関連した情報を使用することができます。FSLは、事前情報として、メタ学習を使用して、多くのメタ学習法です。

2.開発の将来の方向[参考文献]

  • 小さなサンプル物体検出:現在の研究の小さなサンプルは、画像分類タスクに主に焦点を当て、物体検出タスクは、ちょうどこの年に開始されました。画像の分類と比較すると、オブジェクト検出は、より実用的な実用的な用途において、より重要です。
  • 教師なし小さなサンプル学習:データ移行知識ベースクラスの大多数からの伝統的な小さなサンプルセットをされた学習小さなサンプルタスクの新しいクラスにタグ付けされました。多くの実際のシナリオでは、タグデータの多数の基本クラスを得ることは困難であるが、ベースクラスは、ラベルのない大量のデータ(またはベース・クラス・データ・タグ大+タグの付いていないクラス・データベースの少量)を使用することができ、小さなサンプルを行います学習?
  • 連邦研究:ユーザーのローカルデータは、ヘルプ電車まで、プライバシーの保証の場合には、モデルを他のユーザーのデータを使用する方法を、非常に低いのですか?複数のデバイス間のデータと、各デバイスは、少数のユーザデータの分散保存されたとき、または、どのように最小限の通信コストデータとは、合同訓練を配布されますか?
  • 研究の複数の領域における小さなサンプルアプリケーション:小さなサンプルテキスト分類、推薦システムは、(相互作用勧告の少量のみを行う方法についての新しいユーザー)を起動し、そうでコールド。

近年、高品質の紙を選択します

[AAAI2020]([用紙] [コード])過去からの学習:継続的メタ学習ベイズグラフモデルを介して

[ICCV2019]([用紙]PANet:プロトタイプアラインメントでいくつかのショットイメージセマンティックセグメンテーション

[ICLR2019]([用紙] [コード])FEW-SHOT分類をよく見

4.関連

ベイズグラフモデルを経由して継続的メタ学習

[ガオら。2019]ガオ、T .; 漢、X; 劉、Z .; そして日、M.
のための2019年のハイブリッド注意ベースのプロトタイプネットワーク
うるさい少数ショット関係の分類。AAAIで。

[Huら。2019]のHu、T .; ヤン、P .; 張、C; ゆう、G .; ムー、Y .;
そしてスネーク、CGMは、2019年の注目ベースのマルチコンテキスト
数ショットセマンティックセグメンテーションのためのガイド。AAAIで

[MA張2019]馬、T.、および張、A. 2019 Affinitynet:いくつかのショットは、疾患のタイプ予測のための学習半教師。AAAIで。

【ハリハーラーンとGirshick 2017]ハリハーラーン、B.、およびGirshick、
収縮とによってRB 2017低ショット視認
幻覚機能。ICCVで。

オプティマイザとしてギャザー勾配が異なるタスクから流れます

【フィン、Abbeel、及びレヴァイン2017]フィン、C .; Abbeel、P .; そして、
レヴァイン、S.は、2017年モデルに依存しない高速のためのメタ学習
の深いネットワークの適応。ICMLで

[ニコル、アキアム、およびシュルマン2018]ニコル、A .; アキアム、
J .; そして、シュルマン、一次メタ学習にJ. 2018
アルゴリズム。CORRのABS / 1803.02999

[リーとチェ2018]リー、Y.、およびチェ、S. 2018年はGradientbasedメタ学習を学んだ層状メトリックと部分空間で。ICMLで。

分類重み生成器としてその小説のクラスのhallucinates分類

【橋ら。2018]橋、S .; 劉、C; シェン、W .; そしてYuille、
アクティベーションのパラメータを予測しAL 2018少数ショット画像認識。CVPRで。

【Rusuのら。2016】Rusuの、AA。Rabinowitz、NC; デジャルダン、G .; Soyer、H .; カークパトリック、J .; Kavukcuoglu、K .; Pascanu、R .; そしてHadsell、R. 2016プログレッシブニューラルネットワーク。
CORRのABS / 1606.04671

【GidarisとKomodakis 2019] Gidaris、S.、およびKomodakis、
N. GNNが少ないショット学習のためのオートエンコーダのノイズ除去と2019の生成分類重み。CVPRで。

クエリとサポートの例の間のメトリックその対策の類似性として、

【Vinyalsら。2016】Vinyals、E。ブランデル、C。; Lillicrap、T。;
Kavukcuoglu、K。ワンショット学習用とアムステル、D. 2016年整合ネットワーク。A NeurIPS。

[スネル、Swersky、およびZemel 2017】スネル、J .; Swersky、K .; そして
Zemel、いくつかのショット学習のための2017プロトタイプネットワークRS。NeurIPSで。

【バタグリアら。2018]バトル、PW; Hamrick、JB。Bapst、
V。サンチェス・ゴンザレス、A。; Zambaldi、VF; マリノフスキー、M。;
クリート、A。; ら。2018リレーショナル誘導偏見、深い
学習、およびグラフ・ネットワーク。CORRのABS / 1806.01261

グラフ構造

【ガルシアとブルーナ2018]ガルシア、V.、およびブルーナ、J. 2018
グラフニューラルネットワークでいくつかのショット学習。ICLRで。

[Kimら。2019]キム、J .; キム、T .; キム、S .; そして、ユ、CD
いくつかのショットのための2019エッジラベリンググラフニューラルネットワーク
の学習。CVPRで。

[Liuら。2019]劉、Y .; リー、J .; 公園、M。キム、S .; ヤン、
E .; 黄氏、SJ。いくつかのショットのためのトランスダクティブ伝播ネットワーク:とヤン、Y. 2019年学習は、ラベルを伝播する
学習。ICLRで。

[Liら。2019b]李、W .; 徐、J .; フオ、J .; 王、L .; ガオ、Y .;
そして羅、J. 2019b。いくつかのショット学習のためのメトリックネットワーク共分散ベースのディストリビューションの一貫性。AAAIで。

破局的な忘却
[Kemkerら。2018】Kemker、R .; マクルーア、M .; Abitino、A .;
ヘイズ、TL。そして、河南、C. 2018年には壊滅的な測定
、ニューラルネットワークの忘却を。AAAIで。

不十分な堅牢性
[Zhangら。2019]チャン、Y .; パル、S .; コーツ、M .; そして
¨Ustebay、半教師付き分類のためのD. 2019ベイズグラフ畳み込みニューラルネットワーク。AAAIで。

メタ学習

最適化ベースの方法

どちらの良いパラメータの初期化を習得したり、モデルの重みを調整するためのメタ学習者としてのオプティマイザを活用。

[ラヴィとLarochelle 2017]ラヴィ、S.、およびLarochelle、H.
少数ショット学習のためのモデルとして、2017年の最適化。
ICLR。

【フィン、徐、及びレヴァイン2018]フィン、C .; 徐、K .; そして、レヴァイン、
S. 2018確率モデルに依存しないメタ学習。では
NeurIPS

[ユンら。2018】ユン、J .; キム、T .; ディア、O; キム、S .; Bengio、Y .; そしてアン、S. 2018ベイズモデルに依存しないmetalearning。NeurIPSで、7343から7353まで。

[Liら。2017]のLi、Z .; 周、F .; 陳、F .; そして、Li、H. 2017年
のMeta-SGDは:いくつかのショット学習のためにすぐに学ぶことを学びます。
CORR

[ニコル、アキアム、およびシュルマン2018]ニコル、A .; アキアム、
J .; そして、シュルマン、一次メタ学習にJ. 2018
アルゴリズム。CORRのABS / 1803.02999

[リーとチェ2018]リー、Y.、およびチェ、S. 2018年はGradientbasedメタ学習を学んだ層状メトリックと部分空間で。ICMLで。

[Liら。2017]のLi、Z .; 周、F .; 陳、F .; そして、Li、H. 2017年
のMeta-SGDは:いくつかのショット学習のためにすぐに学ぶことを学びます。
CORR。

【Rusuのら。2019】Rusuの、AA。ラオ、D .; Sygnowski、J .;
Vinyals、O; Pascanu、R .; Osindero、S .; そしてHadsell、R.
2019年は潜在埋め込み最適化とメタ学習します。
ICLRで

世代ベースの方法

生成的メタ学習者と少数ショットデータを補強または分類のためのclassificatioin重みを予測することを学ぶことを学びます。

[Wangら。2018】ワン、Y .; Girshick、RB; エベール、M .;
そしてハリハーラーン、B.虚から2018年の低ショット学習
データ。CVPRで。

【Rusuのら。2016】Rusuの、AA。Rabinowitz、NC; デジャルダン、G .; Soyer、H .; カークパトリック、J .; Kavukcuoglu、K .; Pascanu、R .; そしてHadsell、R. 2016プログレッシブニューラルネットワーク。
CORRのABS / 1606.04671

【橋ら。2018]橋、S .; 劉、C; シェン、W .; そしてYuille、
アクティベーションのパラメータを予測しAL 2018少数ショット画像認識。CVPRで。

【GidarisとKomodakis 2019] Gidaris、S.、およびKomodakis、
N. GNNが少ないショット学習のためのオートエンコーダのノイズ除去と2019の生成分類重み。CVPRで。

メトリックベースの方法

メタ学習者としての適切な距離メトリックを学びます。

【Vinyalsら。2016】Vinyals、E。ブランデル、C。; Lillicrap、T。;
Kavukcuoglu、K。ワンショット学習用とアムステル、D. 2016年整合ネットワーク。A NeurIPS。

[スネル、Swersky、およびZemel 2017】スネル、J .; Swersky、K .; そして
Zemel、いくつかのショット学習のための2017プロトタイプネットワークRS。NeurIPSで。

【レンら。2018]レン、M .; Triantafillou、E .; ラヴィ、S .; スネル、
J .; Swersky、K .; テネンバウム、JB。Larochelle、H .; そして、
Zemelは、RS 2018半教師fewshot分類のためのメタ学習します。ICLRで。

【Bertinettoら。2019】Bertinetto、L .; エンリケ、JF; トル、
PHS; そしてVedaldi、微分閉じた形のソルバーとA. 2019年のメタ学習。ICLRで

[ソンら。2018]宋、F .; ヤン、Y .; 張、L .; 翔、T .;
トル、PHS; そして、Hospedalesは、TM 2018は、ことを学ぶ
関係ネットワークを、いくつかのショット学習のために:比較します。CVPRで。

[ヤン、張、と彼2019]ヤン、S .; 張、S .; そして彼は、X.
セマンティック埋め込みと2019 Aデュアル注意ネットワーク
いくつかのショット学習のため。AAAIで。

[Liら。2019a]のLi、H .; アイゲン、D .; ダッジ、S .; Zeiler、M .; そして
王、X.の2019a。いくつかのショットのためのタスク関連の機能を見つける
カテゴリトラバーサルで学習。CVPRで

[Kimら。2019]キム、J .; キム、T .; キム、S .; そして、ユ、CD
いくつかのショットのための2019エッジラベリンググラフニューラルネットワーク
の学習。CVPRで。

FEW-SHOT分類を詳しく見ます

オリオールVinyals、チャールズ・ブランデル、ティムLillicrap、大安Wierstra、ら。1つのためのネットワークをマッチング
ショット学習。ニューラル情報処理システムの進歩(NIPS)、2016年に

ジェイク・スネル、ケビンSwersky、そしてリチャードZemel。いくつかのショット学習のためのプロトタイプのネットワーク。
神経情報処理システム(NIPS)、2017年の進歩。

チェルシーフィン、ピーターAbbeel、とSergeyレヴァイン。モデルに依存しない高速な適応のためのメタ学習
の深いネットワークの。機械学習(ICML)、国際会議の議事録で
2017。

サチンラヴィとヒューゴLarochelle。いくつかのショット学習のためのモデルとして最適。議事録には
、2017年の学習表現に関する国際会議(ICLR)の

洪水宋、永ヤン、李チャン、タオ翔、フィリップHSトール、およびティモシー・M Hospedales。
いくつかのショット学習のための関係のネットワークを:比較することを学びます。コンピュータビジョンとパターン認識(CVPR)、2018年にIEEEの会議の議事録

ビクター・ガルシアとジョーン・ブルーナ。いくつかのショットグラフニューラルネットワークで学習。議事録で
学習表現に関する国際会議(ICLR)、2018。

ハングチー、マシュー・ブラウン、そしてデビッド・G・ロウ。刻印重みを持つ低ショット学習。
コンピュータビジョンとパターン認識(CVPR)、2018年にIEEE会議議事録

初期化に基づいた方法

サチンラヴィとヒューゴLarochelle。いくつかのショット学習のためのモデルとして最適。議事録には
、2017年の学習表現に関する国際会議(ICLR)の

チェルシーフィン、ピーターAbbeel、とSergeyレヴァイン。モデルに依存しない高速な適応のためのメタ学習
の深いネットワークの。機械学習(ICML)、国際会議の議事録で
2017。

計量学習方法

オリオールVinyals、チャールズ・ブランデル、ティムLillicrap、大安Wierstra、ら。1つのためのネットワークをマッチング
ショット学習。ニューラル情報処理システムの進歩(NIPS)、2016年に

ジェイク・スネル、ケビンSwersky、そしてリチャードZemel。いくつかのショット学習のためのプロトタイプのネットワーク。
神経情報処理システム(NIPS)、2017年の進歩。

洪水宋、永ヤン、李チャン、タオ翔、フィリップHSトール、およびティモシー・M Hospedales。
いくつかのショット学習のための関係のネットワークを:比較することを学びます。コンピュータビジョンとパターン認識(CVPR)、2018年にIEEEの会議の議事録

幻覚ベースの方法

Antreas Antoniou、アモスStorkey、ハリソン・エドワーズ。データが生成的敵対増強
ネットワークを。学習表現ワークショップに関する国際会議の議事録(ICLRワークショップ)、2018

バーラトハリハーラーンとロスGirshick。縮小や幻覚による低撃た視覚的に認識
機能を。コンピュータビジョンのIEEE国際会議(ICCV)の議事録、2017年に。

Spyros GidarisとニコスKomodakis。ダイナミック少数ショットの視覚的な学習を忘れずに。
コンピュータビジョンとパターン認識(CVPR)、2018年にIEEE会議議事録

ハングチー、マシュー・ブラウン、そしてデビッド・G・ロウ。刻印重みを持つ低ショット学習。
コンピュータビジョンとパターン認識(CVPR)、2018年にIEEE会議議事録

发布了741 篇原创文章 · 获赞 185 · 访问量 30万+

おすすめ

転載: blog.csdn.net/Fire_to_cheat_/article/details/103828010