[Paper Express] WACV2023 - Cyclic Similar Attention を使用した小さなサンプルの医用画像セグメンテーション
【原文】 : Cycle-resemblance AttentionによるFew-shot Medical Image Segmentation
获取地址：https://arxiv.org/pdf/2212.03967.pdf
ブロガーのキーワード:小規模サンプル学習、セマンティック セグメンテーション、自己監督、プロトタイプ
推奨される関連論文:
【论文速递】PR2023 - 基于自正则原型网络的小样本语义分割
- https://blog.csdn.net/qq_36396104/article/details/128822068
まとめ：
近年、医用画像アプリケーションの要件と医用画像の注釈に対する専門的な要件の継続的な改善により、医用画像のセマンティック セグメンテーションの分野で小さなサンプル学習がますます注目を集めています。限られた数のラベル付き医療画像をセグメント化するために、ほとんどの既存の研究ではプロトタイプ ネットワーク (PN) が使用され、印象的な成功を収めています。ただし、これらの方法は、提案された表現ネットワークから抽出されたクエリ画像の特徴を無視し、クエリ画像とサポート画像の間の空間的接続を維持できません。このホワイトペーパーでは、新しい自己教師付き少数ショット医療画像セグメンテーションネットワークを提案し、クエリとサポート医療画像の間のピクセルレベルの関係を完全に活用するための新しい反復類似性注意 (CRA) モジュールを導入します。特に、最初に複数の注意ブロックを配置して、より豊富な関係情報を抽出します。次に、CRA モジュールを従来のプロトタイプ ネットワークと統合することで CRAPNet を提示します。このネットワークでは、クエリとサポート機能の間のピクセル レベルの関係がセグメンテーションのために適切にキャプチャされます。腹部 MRI と腹部 CT などの 2 つの異なる医用画像データセットに関する広範な実験により、モデルが既存の最先端の方法よりも優れていることが実証されています。
序章：
コンピューター ビジョンの基本的なタスクであるセマンティック セグメンテーションは、注釈付きデータの普及により、近年目覚ましい成功を収めています。そのため、医師が病気をより迅速に診断し、治療を計画し、より適切に提供するのに役立つ医用画像セグメンテーションの新たな現実世界への応用を切り開きます。大規模な医用画像を効率的に処理するには、一般的な画像とは異なり、正確でプロフェッショナルなラベリングが特に重要です。ただし、このような大量のデータにラベルを付けるには、時間がかかり、知識が必要です [21、5、13、19、4]。したがって、医用画像の分野では、少数ショット学習 [32、34、16、41] は、多くのラベル付きデータを必要としないという大きな利点があるため、研究者の注目を集めています。具体的には、1 つまたは複数のピクセル レベルの注釈付きの例 (サポート データ) から識別表現を抽出して、注釈のない例 (クエリ データ) のピクセル レベルのラベル予測を実現できます。さらに、一般に 2D 形式で保存される画像と比較して、医療画像は通常、MRI (磁気共鳴画像)、US (超音波)、CT (コンピューター断層撮影)、x -ray [1,24,20,29,6,35,15]。医療画像の関心領域は通常小さく均一ですが、無関係な背景は非常に広範囲で均一ではありません [40、34]。医療画像では、多数の小さな細胞、組織、臓器が密集していることが多く、前景と背景の境界を描くことが困難です。
既存の少数ショット画像セグメンテーション手法は、予測バイナリ マスクの生成方法によって、アフィニティ学習とプロトタイプ学習に大別できます [16]。後者は、プロトタイプ ネットワーク [32、17、41、34、38、16] を設計し、一般化され、ノイズに対して堅牢なプロトタイプを生成します。図 1(a) に示すように、サポート イメージの特徴はサポート マスクによって調整され、プーリング モジュールに入力されてプロトタイプが取得されます。最後に、プロトタイプは、一般的な操作を使用するクエリ機能 (結合など) と組み合わされます。プロトタイプベースの方法は優れたパフォーマンスを発揮しますが、まだいくつかの欠点があります。(i) これらの方法は、特にプロトタイプが多すぎたり少なすぎたりするためにサポート画像とクエリ画像の間でオブジェクトの外観に大きな変化がある場合、サポート画像の空間情報を必然的に失います [16]。（ii）画像内の異なるクラス間の関係は、現在の方法では無視されているクエリ画像のセグメンテーション決定を行うための鍵です。(iii) 現在のプロトタイプ ネットワークは、トレーニング段階でサポート機能とクエリ機能の間の相互作用に十分な注意を払っていません。この不十分な相互作用により、完全に代表的なプロトタイプを生成できなくなります。ただし、クエリ イメージとサポート イメージは前景と背景の類似性が高いため、この相互作用はイメージ セグメンテーション タスクにおいて重要です。特に医用画像のコンテキストでは、さまざまなオブジェクトの配置は、多くの場合、クエリ画像とサポート画像の間で同様のパターンに従います。
前述の問題に対処するために、この論文では、図1（b）に示すように、反復類似性注意メカニズムを備えた新しい数ショットの医用画像セグメンテーション方法を提案します。主に、オブジェクトの本質的な詳細を完全にキャプチャし、クエリ画像とサポート画像のピクセル間の空間情報を保持するために、新しい Recurrent Similarity Attention Prototype Network (CRAPNet) を導入します。図 2 に示すように、周期的に一致するピクセルの一致したペアが同じクラスに属しているかどうかをチェックして追加のバイアス B を与えるのではなく、これらのピクセル ペア間の類似性を比較します このようにして、サポート-クエリ-サポート接続を構築し、ピクセルとその最も類似した「隣人」との関係を組み合わせてプロトタイプを取得します。さらに、医療画像のサポートとクエリの違いを掘り下げることにより、オブジェクトが高度に構造化および編成されている場合、クエリとサポートの画像は、中断されたビデオシーケンスまたは画像ストリームとして具体的に見ることができると主張します。したがって、非ローカル構造のサポート機能とクエリ機能の非ローカル操作として、特定のピクセル位置の重み付き合計を計算する周期的類似性モジュールを設計します。ある意味では、この非ネイティブな構造をネットワーク ブロックにパッケージ化して、チェーン接続し、ドロップイン モジュールとして使用することができます。次に、上記のモジュールに基づいて、サポート ブランチとクエリ ブランチが設計され、それらの間の接続が対話的に記述されます。
この論文の貢献は、次のように要約できます。
- 私たちの知る限りでは、これは、画像特徴間の空間相関を保持するサイクル - 類似性注意プロトタイプ ネットワーク (CRAPNet) を設計することによって、医療画像セグメンテーション タスクに対処する最初の試みであり、それを従来のプロトタイプ ネットワークに組み込むことに成功しました。
- 組み込みの再帰的類似性モジュールを備えた新しい非ローカルブロックが提案され、これは一緒に連鎖してドロップインモジュールとして使用できます。
- 腹部 MRI と腹部 CT などの 2 つの異なる医用画像データセットに関する広範な実験により、提案した方法の有効性が実証されました。
【ペーパーエクスプレス | 特集】
