【MICCAI2023】半教師あり医用画像セグメントのための自己認識型・クロスサンプル型プロトタイプ学習

半教師あり医用画像セグメンテーションのための自己認識およびクロスサンプルのプロトタイプ学習、MICCAI2023

解釈: MICCAI 2023 | SCP-Net: 一貫性学習に基づく半教師あり医療画像セグメンテーション手法 (qq.com)

コード: まだオープンソースではありません

まとめ

半教師あり医療画像セグメンテーションでは、限られた注釈付きデータと豊富な注釈なしデータの両方を活用できるため、一貫した学習が非常に重要であると考えられます。しかし、その有効性と効率性は、既存の研究では無視されがちな予測の多様性とトレーニングの安定性によって課題となっています。一方、トレーニング用のラベル付きデータが限られているだけでは、クラス内のコンパクト性や疑似ラベルのクラス間の差異を形成するには十分ではないことがよくあります。上記の問題を解決するために、

この論文では、複数の入力からのより広範な意味論的情報を活用することで、コンセンサス学習における予測の多様性を強化する、自己認識かつサンプル間のプロトタイプ学習方法(SCP-Net) を提案します。
自己認識コンセンサス学習アプローチが導入され、ラベルのないデータを活用して各クラスの疑似ラベルのコンパクト性が向上します。
二重損失再重み付け手法は、モデルの信頼性と安定性を向上させるために、クロスサンプルプロトタイプ一貫性学習手法に統合されています。

ACDC データセットと PROMISE12 データセットに対する広範な実験により、SCP-Net が他の最先端の半教師ありセグメンテーション手法を上回り、限定された教師ありトレーニングと比較して大幅なパフォーマンス向上を達成することが検証されました。

序章

以前の研究では、摂動に対する予測結果の堅牢性と変動性の考慮が無視されていました。この問題を解決するために、この論文では自己認識およびクロスサンプルクラスのプロトタイプを導入し、2 つの異なるプロトタイプ予測を生成して、セマンティック情報の相互作用を強化し、一貫したトレーニングでの発散を確保します。

クロスサンプルプロトタイプの一貫性制約損失も、自己認識プロトタイプ予測と複数の予測の間の予測の不確実性を使用して再重み付けされます。これにより、低コントラスト領域や接着されたエッジなどの困難な領域でのラベルノイズの悪影響が軽減され、一貫性が制約されたトレーニングプロセスがより安定するだけでなく、モデルのパフォーマンスと精度も向上します。最後に、この論文は、2 つの典型的な一貫性制約を組み合わせたパラメータフリーの半教師ありセグメンテーションフレームワークである SCP-Net を提案します。

方法

SCP-Net ネットワークの目標は、ラベルのないデータセット Du から追加の知識を抽出することにより、モデルのセグメンテーションパフォーマンスを向上させることです。

SCP-Net の主要部分は SPCC モジュールと CPCC モジュールにあります。

自己交差プロトタイプ予測

セグメンテーションにおけるプロトタイプは、特定のオブジェクトまたはクラスのいくつかのピクセル特徴の共通特徴の集約された表現を指します。クラスのプロトタイプは次のように定義されます。

トレーニング中、ミニバッチにはプロトタイプやその他のサンプルが含まれます。次に、自己認識プロトタイプまたはクロスサンプルプロトタイプに従って特徴の類似性が計算され、複数のセグメンテーション確率行列が形成されます。具体的には、特徴マップ f とプロトタイプベクトル q のコサイン類似度を計算し、アライメントにより予測のクラス内一貫性を確保します。

同様に、クロスサンプルプロトタイプの類似度グラフを取得できます。

特徴が相関しており、画像間で情報が交換されていることを確認します。予測の信頼性を向上させるために、複数の類似性推定が考慮され統合され、サンプル間の確率予測が得られます。

典型的な予測の不確実性

半教師あり環境における予測の一貫性と訓練の安定性を効果的に評価するために,本論文では, $\hat{s}_{kk}$ 類似度行列 $\hat{s}_{kj}$ の合計に基づいたプロトタイプの予測不確実性推定方法を提案した。

まず、argmax 演算とワンホットエンコーディングによって B 個のバイナリ表現マスクが生成されます $\hat{m}_{kn}$ (n=1,2,...,B)。
次に、すべてのマスクを合計し、それを B で割って、正規化された確率を取得します $\hat{p}_{ノルム}$ 。

$e_k$ 次に、から推定さ $\hat{p}_{ノルム}$ れる正規化エントロピーを計算します。

ここで、 ek は複数のプロトタイプ予測の全体的な信頼度であり、エントロピーが大きいほど、予測の不確実性が大きくなります。次に、ek を使用して、ラベル付きサンプルとラベルなしサンプルのピクセルごとの重みを調整します。

教師なしプロトタイプ一貫性制約

$\hat{p}_{kk}$ 一貫した学習における予測の多様性とトレーニングの有効性を強化し、とのノイズの多い予測の悪影響を軽減するために、 $\hat{p}_{kj}$ SPC-Net は 2 つの教師なしプロトタイプ整合性制約 (PCC) を提案します。 $\hat{p}_{kk}$ サンプルサポートされたプロトタイプ予測 $\hat{p}_{kj}$ と対応する不確実性推定 $e_k$ 。

自己認識プロトタイプ一貫性制約 (SPCC)

自己認識型プロトタイプ一貫性制約( SPCC) は、セグメンテーション予測のクラス内近接性を強化することを目的としています。自己認識型プロトタイプ予測を監視用の疑似ラベルとして利用します。この方法では、自己認識プロトタイプを使用することで、サンプル間での特徴のより正確な位置合わせが可能になり、クラス内の予測の一貫性が確保されます。この制約を導入すると、モデルはカテゴリ内の共通の特徴をよりよく学習し、セグメンテーションのパフォーマンスを向上させることができます。SPCC 損失は次のとおりです。

クロスアウェアなプロトタイプ一貫性制約 (CPCC)

クロスサンプル対応のプロトタイプ一貫性制約( CPCC) は、他のトレーニングサンプルから信頼できる知識を取得することを目的としています。二重重み付けアプローチを採用し、不確実性の推定と自己認識確率予測を考慮して制約の重みを調整します。

まず、不確実性の推定を使用して疑わしい擬似ラベルの影響を軽減し、トレーニングにおける不確実性の大きい領域の重みを軽減します。第二に、自己認識確率予測が導入され、特定のカテゴリの最大値が重みとして計算され、CPCC信頼性がさらに向上します。この二重重み付け方法により、CPCCサンプル全体にわたるプロトタイプ予測をより適切に利用して、セグメンテーションモデルのパフォーマンスと安定性を向上させることができます。

CPCC 最適化関数は、2 つの相互認識プロトタイプ予測に基づいて計算されます。