記事ディレクトリ
序文
この記事では、Segment Anything Model が自然画像セグメンテーションの分野で目覚ましい成果を上げた後、医用画像の分野で SAM を評価する初期の研究を主に紹介します。
元の論文リンク:医用画像解析のためのセグメント何でもモデル: 実験的研究
1. 抽象化と導入
1.1. 抽象化
Segment Anything Model (SAM)は、ユーザー定義の対象オブジェクトをインタラクティブにセグメント化するように設計された 10 億を超える注釈 (主に自然画像) でトレーニングされた基本モデルです。自然画像におけるモデルの優れたパフォーマンスにもかかわらず、医療画像の領域にモデルが適用された場合にどのような影響を受けるかは不明です。
この論文では、SAMさまざまなモダリティや解剖学的構造からの 11 個の医用画像データセットの医用画像をセグメント化する機能について広範な評価を示しています。調査によるとSAM、 のパフォーマンスはタスクとデータセットによって異なり、一部のデータセットでは優れたパフォーマンスが得られますが、他のデータセットでは低から中程度のパフォーマンスが得られます。
1.2. 導入
新しい医用画像データおよびタスク用のセグメンテーション モデルの開発とトレーニングは、実際には困難です。医用画像の収集とキュレーションには費用と時間がかかり、経験豊富な医師が画像に慎重にマスク アノテーションを付ける必要があるからです。ベース モデルとゼロショット学習では、従来の教師ありトレーニング ラベルを使用せずに、大量のデータでトレーニングされたニューラル ネットワークを使用することで、これらの困難を大幅に軽減できます。
1.2.1. サムとは何ですか?
Segment Anything Modelプロンプトが表示されたときにユーザー定義の対象オブジェクトをセグメント化することを目的としたセグメンテーション モデルです。ヒントは、点、点のセット (マスク全体を含む)、境界ボックス、またはテキストの形式にすることができます。モデルは、ヒントがあいまいな場合でも有効なセグメンテーション マスクを返す必要があります。
Segment Anything モデルの概要については、私の別のブログを参照してください: SAM [1]: Segment Anything
1.2.2. SAM を使用して医療画像をセグメント化するにはどうすればよいですか?
プロンプトなしで実行することは技術的にはSAM可能ですが、医療画像処理での有用性は期待されていません。これは、医療画像には画像内に多くの特定の対象物体が含まれることが多く、これらの物体を認識するようにモデルをトレーニングする必要があるためです。
2. 方法論
2.1. SAM は医療画像のセグメンテーションのプロセスで使用されます
2.1.1. 半自動アノテーション
医用画像に手動で注釈を付けることは、多くの場合、医師が貴重な時間を費やす必要があるため、この分野のセグメンテーション モデルを開発する際の主な課題の 1 つです。この場合、SAMラベル付けを高速化するツールとして使用できます。
最も単純なケースでは、人間のユーザーがSAMのヒントを提供し、SAMユーザーの承認または変更用のマスクが生成されます。別のアプローチでは、SAMヒントが画像全体のグリッドとして与えられ、複数のオブジェクトのマスクが生成され、オブジェクトに名前を付けることができます。 、ユーザーによって選択または変更されます。
2.1.2. SAM は他のセグメンテーション モデルを支援します
SAM別のアルゴリズムを使用して画像を自動的にセグメント化し、SAMセグメント化されたオブジェクトの意味情報の欠如を補います。たとえば、SAM画像上に分布するポイント キューに基づいて複数のオブジェクト マスクを生成し、個別の分類モデルによって特定のオブジェクトとして分類できます。同様に、スタンドアロン検出モデルは、SAM正確なセグメンテーション マスクを生成するための手がかりとして、画像のオブジェクト境界ボックスを生成できます。
さらに、セマンティック セグメンテーション モデルのトレーニングの過程で、SAMセマンティック セグメンテーション モデルとともに循環的に使用できます。たとえば、トレーニング中に、ラベルのない画像のセグメンテーション モデルによって生成されたマスクをヒントとして使用して、SAMそれらの画像に対してより正確なマスクを生成できます。これは、教師付きトレーニング サンプルでトレーニングされているモデルの反復的な改善として使用できます。
2.1.3. 新しい医療画像基盤セグメンテーション モデル
新しい医用画像ベースのセグメンテーション モデルの開発プロセスは、 のSAM開発プロセスによってガイドすることができます。あるいは、SAM必要な画像が少なくなる可能性があるため、最初からトレーニングするのではなく、さまざまな医用画像ドメインの医用画像とマスクを微調整することもできます。
2.2. 実験
2.2.1. 設定
評価は、オブジェクトごとに 1 つ以上のキューを作成し、特定のデータセットとタスクのグラウンド トゥルース マスク アノテーションと比較して、生成されたマスクの精度を評価することSAMによって行われます。一方、与えられたヒントに対して、SAM によって生成された最も信頼性の高いマスクを常に使用します。
mIoU評価指標として選択します。ただし、実証研究によると、SAMA のパフォーマンスは、同じ画像のカテゴリが異なると大きく異なる可能性があります。したがって、この論文では、Nn カテゴリのマルチクラス予測問題をNバイナリ分類問題に変換するため、IoU最終的な評価指標として t を使用するだけで十分です。
2.2.2. プロンプトポイント生成スキーム
このペーパーでは、一般的で直感的な戦略を使用して現実的なポイント ヒントの生成をシミュレートします。これは、ユーザーが対話的にヒントを生成する方法を反映しています。実装の詳細は次の図に示されています。
ロジックを生成します。
- これは主に、点を選択するときの人々の思考をシミュレートします。通常、ユーザーは点を選択するとき、最も明らかに間違っている場所、または最も正しい場所の中心から点を選択します。理論的には、これによりユーザーが必要とする部分を可能な限りカバーできます。
- 最初のキューポイントを配置しますp 1 p1p 1は、マスクの前景で背景から最も遠い点に初期化されます。
- つまり、最初のキューポイントp 1 p1p 1は肯定的なプロンプトです
SAMセグメント化するオブジェクトを決定するには肯定的なプロンプトが必要であるため、SAM渡される最初のポイント プロンプトは肯定的なプロンプトである必要があることに注意してください。
- 式P = argmax ( i , j ) ( d [ ( i , j ) , ( k , l ) ] ) \mathcal{P} = argmax_{(i, j)} (d[(i, j), ( k, l)])P=最大値_ _ _( i , j )( d [( i ,j ) 、( k ,l )])上記の条件を満たす一連のポイントを取得します
- 上記の修飾されたポイント セットから最初の入力として修飾されたポイントをランダムに選択します
- 最も高い予測スコアY 1 Y_1
SAMを持つマスクを取得するには、ポイント プロンプトの座標を入力してください。Y1 - 予測が間違っている領域を取得します: E 1 = Y 1 ∪ M − Y 1 ∩ M E_1 = Y_1 \cup M - Y_1 \cap ME1=Y1∪M−Y1∩M
- Y 1 ∪ M Y_1 \カップ MY1∪M : 元のマスク内の予測されたマスクによってカバーされる領域と前景点セットの和集合
- Y 1 ∩ M Y_1 \cap MY1∩M : 元のマスク内の予測されたマスクによってカバーされる領域と前景点セットの交点
- E1E_1E1: 予測されたマスクと、正しく予測されなかった前景点セットの部分、つまり予測誤差領域
- 後続のポイント プロンプトは、距離反復更新エラー領域E n E_nです。Eん境界線から最も遠い点
SAM一度に受け入れられるのは 1 つのポイント プロンプトのみで、予測マスクが返されます。つまり、複数のポイント プロンプトは、SAM各出力予測マスクに基づいて入力を繰り返すプロセスです。- 各反復ではエラー領域E n E_nが取得されます。Eん境界から最も遠い点のセット
- 入力として設定された点からランダムに点を選択します
SAMの予測出力を取得します。- 予測誤差領域の更新
- 最終的な予測結果を取得する
要約する
本論文は主にSAMこの提案に基づいてSAM医療画像セグメンテーションに適用できるかどうかを評価したものであり、具体的なデータセットと結果については原論文の結果グラフを参照してください。
このノートは、SAM医療画像セグメンテーションへの応用と微調整の学習と理解に焦点を当てていますが、同時に、より効率的でよりシミュレートされたユーザーのポイント選択習慣を備えた、この論文で提案されているポイント プロンプト生成アルゴリズムを分析して記録します。
しかし同時に、この記事では 3D データセットについては研究しませんが、3D データは医療画像の分野では非常に一般的であり、これは将来の研究の重要な方向性でもあります。