目次
導入
题目：《信頼性の低い疑似ラベルを使用した半教師ありセマンティックセグメンテーション》，CVPR'22，
U2PL: 信頼性の低い疑似ラベルに基づく半教師ありセマンティック セグメンテーション
日付: 2022.3.14
担当部署: 上海交通大学、香港中文大学、SenseTime
論文アドレス: https://arxiv.org/abs/2203.03884
GitHub: https://github.com/Haochen-Wang409/U2PL/Project
アドレス：https://haochen-wang409.github.io/U2PL/
著者PR：https://zhuanlan.zhihu.com/p/474771549
- 著者
(同等の貢献をしている第一著者は見つかりません
、Wang Haochen、個人ホームページ: https://haochen-wang409.github.io/
Wang Haochen は、中国科学院オートメーション研究所、マルチモーダル人工知能システム国家重点研究所のインテリジェント知覚およびコンピューティング研究センターの博士課程 2 年生です。張昭祥教授の指導のもと。2022年6月に上海交通大学機械工学部で学士号を取得。
研究はコンピュータ ビジョンとパターン認識、特に画像認識、ラベル効率学習、教師なし表現学習のトピックに焦点を当てています。
- 他の著者
Yujun Shen は現在、Ant Research Institute の上級研究員であり、Interatcion Intelligence Laboratory を率いています。彼の研究は、コンピュータ ビジョンとディープ ラーニング、特に生成モデルと 3D ビジョンに焦点を当てています。
(SenseTimeのみに所属する者は掲載されていません: Jingjing Fei、Wei Li、Guoqiang Jin、Liwei Wu)
SenseTime Technology社エグゼクティブリサーチディレクター兼SenseTime Smart City Group (SCG)のR&D Shared Technology Center (STC)所長
-
対応する著者
-
まとめ
半教師ありセマンティック セグメンテーションの鍵は、ラベルのない画像のピクセルに十分な疑似ラベルを割り当てることです。一般的には、信頼性の高い予測を擬似 GT として選択しますが、これにより、信頼性が低いためにほとんどのピクセルがアイドル状態のままになるという問題が発生します。私たちは、モデルのトレーニングにはすべてのピクセルが重要であると考えていますが、その予測さえも曖昧です。直感的には、信頼性の低い予測が最上位クラス (つまり、最も確率が高いクラス) で混同される可能性がありますが、ピクセルが残りのクラスに属していないことは確信できるはずです。したがって、そのようなピクセルは、最も可能性の低いクラスの負のサンプルであると確信的に考えることができます。この洞察に基づいて、ラベルのないデータを最大限に活用するための効率的なパイプラインを開発します。具体的には、予測されたエントロピーによって信頼できるピクセルと信頼できないピクセルを分離し、信頼できない各ピクセルを負のサンプルで構成されるクラス キューにプッシュし、すべての候補ピクセルを使用してモデルをトレーニングします。トレーニングが進化し、予測がますます正確になることを考慮して、信頼できるパーティションと信頼できないパーティションのしきい値を適応的に調整します。さまざまなベンチマークやトレーニング環境での実験結果は、私たちのアプローチが最先端の代替手段よりも優れていることを示しています。
本稿では、半教師ありタスクの鍵はラベルなしデータを最大限に活用することであると考え、「Every Pixel Matters」の概念に基づき、信頼性の低いサンプルを含むすべてのラベルなしデータを有効活用してアルゴリズムを改善するU2PLを提案します。正確さ。
自己トレーニング: サンプルのスクリーニングが不十分なトレーニングにつながる
半教師あり学習の中心的な課題は、モデルのパフォーマンスを向上させるために、ラベル付きサンプルの補足としてラベルなしサンプルを効果的に利用することです。
古典的な自己学習手法の多くは、教師あり学習→擬似ラベル付け→再学習という基本プロセスをたどりますが、学生ネットワークは誤った擬似ラベルから誤った情報を学習してしまうため、パフォーマンスが低下するという問題があります。
従来のアプローチではサンプルをフィルタリングして信頼性の高い予測結果のみを残しますが、これではラベルのない大量のデータがトレーニング プロセスから除外され、モデルのトレーニングが不十分になります。さらに、モデルが特定のハード クラスをうまく予測できない場合、そのクラスのラベルのないピクセルに正確な擬似ラベルを割り当てることが困難になり、悪循環に入ります。
モデルが特定のクラス (図 1 の椅子など) を十分に予測できない場合、このクラスに関するピクセルに正確な擬似ラベルを割り当てることが難しく、トレーニング不足や絶対的な不均衡が生じる可能性があります。ラベルのないデータを最大限に活用するには、すべてのピクセルを適切に利用する必要があります。
図1。信頼できる予測と信頼できない予測による分類パフォーマンスとピクセル数の統計。モデルは、PASCAL VOC 2012 上の 732 枚のラベル付き画像を使用してトレーニングされ、残りの 9850 枚の画像で評価されます。
前述したように、信頼性の低い予測を擬似ラベルとして直接使用すると、パフォーマンスの低下につながります。この論文では、信頼性の低い疑似ラベルを使用する代替アプローチを提案します。額装させていただきます。
まず、信頼性の低い予測は、すべてのクラスではなく、いくつかのクラスでのみ混同されることが多いことが観察されます。図 2 を例にとると、白い十字のピクセルはオートバイと人間で同様の確率を受け取りますが、モデルはそのピクセルが車や電車のクラスに属さないことを確信しています。この観察に基づいて、混乱したピクセルをそれらの可能性の低いクラスのネガティブ サンプルとして扱うことを再考します。具体的には、ラベルのない画像から予測を取得した後、ピクセルごとのエントロピーをメトリクスとして使用し (図 2a を参照)、すべてのピクセルを 2 つのグループ (信頼できるピクセルと信頼できないピクセル) に分類します。すべての信頼できる予測は正の擬似ラベルを導出するために使用されますが、信頼性の低い予測を持つピクセルは負のサンプルでいっぱいのメモリ バンクにプッシュされます。すべての否定的な疑似ラベルがカテゴリのサブセットからのみ取得されることを避けるために、カテゴリごとに 1 つのキューを使用します。この設計により、各カテゴリの負のサンプル数のバランスが確保されます。同時に、モデルの精度が高くなるにつれて擬似ラベルの品質が高くなっていくことを考慮して、信頼できるピクセルと信頼できないピクセルを分類するために閾値を適応的に調整する戦略を提案します。
目標/動機
- すべてのピクセルが重要
具体的には、予測結果の信頼性をエントロピー（ピクセル当たりのエントロピー）で測定することができ、エントロピーが低い場合は予測結果が信頼できることを示し、エントロピーが高い場合は予測結果が信頼できないことを示します。図 2 で具体的な例を見てみましょう. 図 2(a) はエントロピー マップで覆われたラベルのない画像です. エントロピーの高い信頼性の低いピクセルは明確な擬似ラベルでラベル付けすることが難しいため、再トレーニング プロセスは、図 2(b) では白色で示されています。
図 2: 信頼性の低い疑似ラベルの図。(a) ラベルのない画像から予測されたピクセルごとのエントロピー。低エントロピー ピクセルと高エントロピー ピクセルはそれぞれ信頼できる予測と信頼できない予測を示します。(b) 信頼性の高い予測のみからのピクセル単位の擬似ラベル。白い領域内のピクセルには擬似ラベルが割り当てられていません。(c) 監督クラスが十分に確信できる、信頼性の高く予測されたクラス確率 (つまり、黄色のバツ)。(d) 信頼性が低く予測されたクラス確率 (つまり、白十字)。オートバイと人々の間をさまよっていますが、十分な自信を持って車や電車に属さないもの。
信頼できる予測結果と信頼できない予測結果をそれぞれ選択し、それらのカテゴリごとの確率をヒストグラムの形でプロットしたのが図 2© と図 2(d) です。人物クラスの黄色の×印で表されるピクセルの予測確率は 1 に近く、モデルはこの予測結果に非常に自信を持っており、エントロピーの低いピクセルは典型的な信頼できる予測です。白い十字で表されるピクセルは、オートバイと人物の両方のカテゴリで高い予測確率を持ち、数値的には近いですが、モデルは明確な予測結果を与えることができず、これは私たちの非現実的な予測の定義と一致します。白い十字で表されるピクセルについては、モデルはそれがどのカテゴリに属するかは不明ですが、モデルは車と電車の 2 つのカテゴリで非常に低い予測確率を示しており、明らかにこれらのカテゴリに属さないことを非常に確信しています。 。
したがって、信頼性の低い予測結果であっても、明確な疑似ラベルを付けることはできませんが、いくつかのカテゴリの負のサンプルとしてモデルのトレーニングに参加できるため、ラベルのないすべてのサンプルをトレーニングに含めることができると考えました。プロセスを実行し、役割を果たします。
方法
画像3。私たちが提案する U2PL アプローチの概要。U2PL は生徒ネットワークと教師ネットワークで構成されており、教師は生徒と協力して勢いを更新します。ラベル付きデータは、教師付きトレーニングのために生徒ネットワークに直接供給されます。ラベルのない画像が与えられた場合、まず教師モデルを使用して予測を行い、次にピクセルをエントロピーに基づいて信頼できるピクセルと信頼できないピクセルに分類します。このようなプロセスは式（６）として定式化される。信頼できる予測は、学生に提案を提供するための擬似ラベルとして直接使用されますが、信頼性の低い予測はそれぞれカテゴリ メモリ バンクにプッシュされます。各メモリ グループ内のピクセルは、式 (4)として定式化される、対応するクラスの負のサンプルと見なされます。
ネットワーク構造に関しては、U2PL は自己学習技術ルートに共通のモメンタムティーサー構造を採用しており、同一構造の教師と生徒の 2 つのネットワークで構成され、教師は生徒からのパラメータ更新を EMA 形式で受け付けます。単一ネットワークの具体的な構成は、ReCo (ICLR'22) を参照します。これには、エンコーダー ℎ、デコーダー f、および表現ヘッド g の 3 つの部分が含まれます。
損失関数の最適化に関しては、ラベル付きデータは標準のクロスエントロピー損失関数 L sに基づいて直接最適化されます。ラベルなしデータの場合、教師は最初に予測結果を与え、次にピクセルレベルのエントロピーに基づいて予測結果を信頼できるピクセルと信頼できないピクセルに分割し、最後にそれぞれLuと L cに基づいて最適化します。
データ セットのロングテール問題により、比較学習のネガティブ サンプルとして 1 バッチのサンプルのみを使用することは非常に制限される可能性があるため、MemoryBank を使用して、生成された壊れた勾配を保存するカテゴリ関連のネガティブ サンプル ライブラリを維持します。特徴は先入れ先出しキュー構造で維持されます。
L cはピクセルレベルの InfoNCE lossであり、次のように定義されます。
そのうち、C:クラスの数、M:アンカーピクセル(Mask?)の数、N:ネガティブサンプルの総数、
z=g◦ h(x) は表現ヘッドの出力、z ci : カテゴリ c の i 番目のアンカーの表現です。
各アンカー ピクセルの後には 1 つの正のサンプルと N 個の負のサンプルが続き、その表現はそれぞれ z + ciと z − cijです。
〈・,・〉は 2 つの異なるピクセルの特徴間のコサイン類似度であり、その範囲は -1 ～ 1 に制限されます (M=50、N=256、τ=0.5 に設定)。
自己トレーニングについてはあまり説明する必要はありませんが、古典的な InfoNCE Loss である比較学習 L cの部分に焦点を当てています。
疑似ラベル付け
(以下の指示は著者からのものです: https://zhuanlan.zhihu.com/p/474771549)
信頼性の低い疑似ラベルの使用
最後のステップは、アンカー ピクセルのネガティブ サンプルを構築することです。これも、ラベル付きサンプルとラベルなしサンプルの 2 つの部分に分割する必要があります。ラベル付きサンプルの場合は、それらが属するカテゴリが明確にわかっているため、真値ラベルを除くすべてのカテゴリをピクセルの負のサンプル カテゴリとして使用できます。ラベルなしサンプルの場合は、疑似ラベルにエラーがある可能性があるため、完全には使用できません。ラベルが正しいことは確実なので、予測確率が最も高いカテゴリをフィルタリングして除外し、ピクセルを残りのカテゴリの負のサンプルとみなす必要があります。この部分は論文の式 13 ～ 16 に対応します。
O ij =argsort (p ij )、ソートされた p (負のサンプル)
補足知識
情報損失
比較学習で一般的に使用される損失関数は主に自己監視の分野で使用されており、用途に関して簡単に要約すると、サンプルのバッチに対してクロス エントロピーを実行するためにコサインを使用することになります。
- NCE
**NCE (ノイズ対比推定、ノイズ対比推定)** 中心となるアイデアは、多分類問題を 2 分類問題に変換することです。1 つのクラスはデータ クラスのデータ サンプルで、もう 1 つのクラスはノイズ クラスのノイズですデータサンプルとノイズを学習することによって サンプル間の違いは、データサンプルとノイズサンプルを比較することであり、これは「ノイズ対比」と呼ばれ、データのいくつかの特徴を発見します。ただし、データ セット全体の残りのデータが負のサンプル (ノイズ サンプル) として扱われる場合、多くのカテゴリの問題は解決されますが、計算の複雑さは依然として軽減されません。解決策は、負のサンプル サンプリングを使用して計算を行うことです。これが推定の意味であり、単なる推定と近似であることを意味します。一般に、より多くの負のサンプルが選択されるほど、それらはデータセット全体に近くなり、当然のことながら効果はより良くなります。
温度について: 温度係数は、陰性サンプルに対するモデルの識別を制御できます。具体的には、温度係数が大きいほど、モデルによる陰性サンプルの区別が低くなり、より多くの陰性サンプルを含めることができ、温度 t が小さいほど、陽性サンプルと陰性サンプルの区別が高くなり、より多くの注意が払われることになります。特に困難なネガティブサンプルの場合、損失は小さくなります。一般に、困難な負の例により重点を置くことができるため、t が小さいほど優れていますが、温度パラメータは小さいほど優れています。教師なしデータ学習を使用しているため、負の例の中に潜在的な正の例がいくつか存在する可能性がありますが、パラメーターが小さすぎると、近くにある潜在的な正の例が押しのけられてしまい、これは正しくありません。
ああ、神様
OHEM: オンライン ハード サンプル マイニング、オンライン ハード サンプル マイニング アルゴリズム トレーニング 領域ベースのオブジェクト検出器
その利点:
1. データ カテゴリの不均衡の問題は、陽性サンプルと陰性サンプルの比率を設定することで解決する必要がなく、このオンライン選択方法はよりターゲットを絞ったものです。
2. データセットが増加すると、元のベースでアルゴリズムをさらに改善できます。
データセットが小さく、ターゲット検出に関する前向きな提案がほとんどない場合は、OHEM トリックを試すことができます。
実験
- データセット: PASCAL VOC 2012(train, val)、SBD(add train)、都市景観
- バックボーン: ImageNet で事前トレーニングされた ResNet-101
- デコーダ: DeepLabv3+
セグメンテーション ヘッドと表現ヘッドは両方とも 2 つの Conv BN ReLU ブロックで構成されます。両方のブロックは特徴マップの解像度を維持し、最初のブロックはチャネル数を半分にします。セグメンテーション ヘッドは、ASPP モジュールによって出力された 512 次元の特徴をクラス C にマッピングするピクセル レベルの分類器とみなすことができます。表現ヘッドは、同じ特徴を 256 次元の表現空間にマッピングします。
既存代替品との比較
この記事のすべての実験結果は ResNet-101 + Deeplab v3+ のネットワーク構造に基づいており、使用したデータセットの構成と評価方法については論文の説明を参照してください。
Classic VOC、Blender VOC、Cityscapes の 3 つのデータ セットで既存の手法と比較し、2 つの PASCAL VOC データ セットすべてで最高の精度を達成しました。Cityscapes データセットでは、ロングテール問題をうまく解決できなかったため、クラス不均衡問題の解決に特化した AEL (NeurIPS'21) に遅れをとりましたが、AEL に U2PL を重畳することで、これは、U2PL の多用途性を証明しています。U2PL は、ラベル付けされたデータが少ない部門で特に優れた精度を発揮することは注目に値します。
表1。さまざまなパーティショニング設定における、従来の PASCAL VOC 2012 val データセットにおける最先端の手法との比較。ラベル付けされた画像は、合計 1464 個のサンプルで構成される元の VOC シーケンス コレクションから選択されます。スコアは、トレーニングに使用されたラベル付きデータの割合を表し、その後に実際の画像数が続きます。SBD [18] からのすべての画像はラベルなしのデータとして扱われます。「SupOnly」は、ラベルなしのデータを使用しない教師ありトレーニングを表します。†は、このメソッドを再現することを意味します。
表 2. 異なるパーティショニング設定におけるブレンダー PASCAL VOC 2012 val データセットの他の最先端の手法との比較。すべてのラベル付き画像は、合計 10582 個のサンプルで構成される拡張 VOC シーケンス セットから選択されます。「SupOnly」は、ラベルなしのデータを使用しない教師ありトレーニングを表します。†は、このメソッドを再現することを意味します。
表3。さまざまなパーティショニング プロトコルでの都市景観に関する最先端の手法との比較。すべてのラベル付き画像は、合計 2975 個のサンプルを含む Cityscapes トレイン セットから選択されています。「SupOnly」は、ラベルなしのデータを使用しない教師ありトレーニングを表します。†は、このメソッドを再現することを意味します。
アブレーション
信頼性の低い疑似ラベルの使用の有効性
PSACAL VOC や CItyscapes など、複数のデータセットの複数のパーティションで信頼性の低い疑似ラベルを使用することの価値を示します。
表4. ピクセルごとの予測のエントロピーによって測定される、さまざまな信頼性を持つ擬似ピクセルを使用したアブレーション実験(セクション 3.3 を参照)。「信頼性の低さ」とは、最高 20% のエントロピー スコアを持つピクセルから負のサンプル候補を選択することを意味します。「信頼できる」とは下位 20% を意味します。「すべて」とは、エントロピーを考慮せずにサンプリングすることを意味します。
確率レベルのしきい値の有効性。つまり、先ほどの式の rl と rh、rl=3 と rh=20 は、他の選択肢よりも大幅に優れています。rl=1 の場合、偽陰性候補はフィルターで除外されず、ピクセルのクラス内特徴が Lc によって誤って区別されます。rl=10 の場合、否定候補は対応するアンカー ピクセルと意味的に無関係になる傾向があり、この区別による情報が少なくなります。
表5。セクション 3.3 で説明されているように、確率レベルのしきい値のアブレーション実験。
表6. アブレーション研究は、教師なし損失 Lu、コントラスト損失 Lc、カテゴリ メモリ Qc、動的パーティション調整 (DPA)、確率ランクしきい値 (PRT)、高エントロピー フィルタリング (信頼性が低い) など、U2PL のさまざまなコンポーネントの有効性について実行されます。
表7. 式の α0 のアブレーション研究 (7)、信頼できるピクセルと信頼できないピクセルの初期比率を制御します
対照学習の代替手段
信頼性の低いサンプルを二値分類によって利用する比較実験を追加し、低品質の擬似ラベルの使用が比較学習だけで達成されるわけではないことを証明しました。 . .
要約する
- 結論
私たちは半教師ありセマンティック セグメンテーション フレームワーク U2PL を提案しますが、これはトレーニングに信頼性の低い疑似ラベルを組み込むことで多くの既存の手法よりも優れており、私たちのフレームワークが半教師あり学習研究において新たな有望なアプローチを提供することを示しています。私たちのアブレーション実験は、この研究の洞察が非常に確かであることを示しています。定性的な結果は、その有効性、特にセマンティックオブジェクト間の境界やその他のあいまいな領域でのパフォーマンスの向上を直感的に証明します。完全に教師ありの手法と比較すると、私たちの手法のトレーニングには時間がかかります [5, 6, 29, 35, 46]。これは、半教師あり学習タスクの一般的な欠点です [9, 20, 21, 33, 43, 48]。 。ラベルが極端に不足しているため、半教師あり学習フレームワークは多くの場合、タイムリーなコストを犠牲にしてより高い精度を獲得します。トレーニングの最適化については、将来的にさらに深く検討することができます。
- 視覚化
図4. PASCAL VOC 2012 値セットの定性的結果。すべてのモデルは、2466 枚のラベル付き画像と 7396 枚のラベルなし画像を含むミキサー セットの 1/4 分割プロトコルの下でトレーニングされます。(a) 入力画像。(b) 対応する画像の手動注釈ラベル。(c) ラベルのないデータは使用せず、ラベル付きの画像のみがトレーニングに使用されます。(d) すべてのピクセルがエントロピー フィルターなしでネガティブ サンプルとして使用されるバニラの対照学習フレームワーク。(e) U2PL の予測。黄色の四角形は、信頼性の低い疑似ラベルを最大限に使用することによって促進されたセグメンテーションの結果を強調表示します。
付録
付録 A: 再現結果の詳細は
付録 B に記載されています。2 つの視点からの都市景観に関する詳細な結果は
付録 C に記載されています。主要な洞察が対照学習に依存するだけではないことを示すために、対照学習の代替案が提供されています。
付録 D:より多くのハイパーパラメータを使用した PASCAL VOC 2012 および Cityscapes アブレーション
スタディ 付録 E: 特徴空間の視覚化により、U2PL の有効性が視覚的に証明されます
表A1。U2PLで使用されるハイパーパラメータの概要。
表A2。ピクセルごとの予測のエントロピーによって測定される、さまざまな信頼性の擬似ピクセルを使用したアブレーション研究。「信頼できない」とは、最高 20% のエントロピー スコアを持つピクセルから否定的な候補を選択することを意味します。「信頼できる」とは下位 20% を意味します。「すべて」とは、エントロピーを考慮せずにサンプリングすることを意味します。Cityscapes val セットの 1/2 および 1/4 分割プロトコルの下でこの有効性を実証します。
U2PL は対照学習による制限を受けません。バイナリ分類は、信頼性の低い疑似ラベルを使用する十分な方法でもあります。つまり、コントラスト損失の代わりにバイナリ クロスエントロピー損失 (BCE) Lb を使用します。クラス c に属する i 番目のアンカー ポイント zci については、その負のサンプル {z − cij } N j=1と正のサンプル z c +を単純に使用して、BCE 損失を計算します。
表A3。異なるパーティショニング プロトコルの下で Cityscapes VAL セットのバイナリ分類に基づいた信頼性の低い疑似ラベルを使用します。
表A4。異なる分割の下で設定された PASCAL VOC 2012 val のバイナリ分類に基づいた信頼性の低い疑似ラベルを使用します。
- さらなるアブレーション実験
TabA5: lr のアブレーション、TabA6: 温度係数のアブレーション
タブA7/8: 都市空間データセットの確率レベル閾値とα0が研究されました。
U2PLとネガティブラーニングの違い
ネガティブラーニングによって選択されたネガティブサンプルは依然として信頼性の高いサンプルであるのに対し、U2PL では信頼性の低いサンプルをフィルタリングせずに最大限に活用することを提唱しています。
例えば、予測結果 p=[0.3,0.3,0.2,0.1,0.1] T は、ネガティブ学習法では不確実性のため破棄されてしまいますが、U2PL では可能性の低い複数のクラスのネガティブサンプルとして使用できます。また、ネガティブ学習法の精度は U2PL ほど良くないこともわかりました。
U2PL テクノロジーのブループリント
誰もがこの論文の核となるストーリーと実験デザインをよりよく理解できるように、技術的な青写真がここに掲載されています。
