文章の間違い、活字の間違い、概念的な間違いなどを修正していただければ幸いです。この記事を読む前に、 [機械学習] ノイズ コントラスト推定 (NCE) [コンピュータ ビジョン] MoCo の説明
を学習することをお勧めします。
ノンパラメトリックインスタンス識別による教師なし特徴学習
この論文の最も重要な貢献は、対照学習で一般的に使用されるインスタンス弁別代理タスク (プリテキスト タスク) の導入です。インスタンスの識別とは、各トレーニング データを他のデータとは異なるカテゴリとして扱うことを指します。これにより、モデルが画像の視覚的特徴を識別できるようになり、モデルによって出力される特徴ベクトルが視覚的に類似した画像であるという要件を確実に満たすようになります。近くにあると視覚的に異なりますが、類似した画像は遠くにあります。各データを別個のカテゴリとして扱うことによって引き起こされる過剰な計算の問題を回避するために、インスタンス弁別では、損失関数としてノイズ対比推定 (NCE) を使用し、多分類問題を二値分類問題に変換します。
考え
図1