医療画像セグメンテーションにおける U-Net とそのバリエーションの応用に関する研究のレビュー
論文の出典: Chinese Journal of Biomedical Engineering 2022
要約: 医療画像のセグメンテーションは、臨床診断、治療、病理学的研究のための信頼できる基礎を提供し、医師が患者の状態を正確に判断するのに役立ちます。深層学習に基づくセグメンテーション ネットワークの出現により、堅牢性が弱い、精度が低いなど、従来の自動セグメンテーション手法の問題が解決されました。。 U-Net は数あるセグメンテーション ネットワークの中でも優れた性能を備えており、研究者らは U-Net をベースにしたさまざまな改良版を次々と提案しています。 U-Net ネットワークとその亜種を主線として、最初に U-Net のネットワーク構造と一般的な改善方法を詳細に紹介し、次に、さまざまなセグメンテーション オブジェクトに従って、U-Net 亜種ネットワークをさらに一般的なものに分けます。目的セグメンテーション ネットワークと特定のセグメンテーション ネットワーク、セグメンテーション ネットワークについて説明し、医療画像セグメンテーションにおける研究の進歩について説明し、最後に、現在の研究作業に存在する困難と問題を分析し、将来の開発の方向性を展望します。
主に Unet の亜種調査に基づいています
UNet モデルの基本的な紹介
2015 年に提案された UNet モデルは私たちが学んだことですセマンティックセグメンテーションのために学習すべき優れたモデル、軽量かつ高性能であるため、通常はセマンティック セグメンテーション タスクのベースライン テスト モデルとして使用されており、これは現在でも使用されており、その優秀性を示しています。 UNet は本質的に完全な畳み込みニューラル ネットワーク モデルであり、その名前はそのアーキテクチャの形状に由来しており、モデル全体が「U」字型を呈しています。その誕生は医療画像のセマンティックセグメンテーションの問題を解決するために、 でしたが、その後の開発により、セマンティック セグメンテーション タスクのオールラウンド プレイヤーであることが確認されました。これが優れたネットワーク アーキテクチャの優秀さなのかもしれません。
UNet が医用画像処理において優れたパフォーマンスを発揮する理由は、おそらく次の 3 つの点で説明できるでしょう。
1.UNet の U 字型ネットワーク構造は、浅い機能と深い機能を高密度に統合します；
2. 医用画像データの量は UNet モデルのサイズと一致し、過剰適合を効果的に回避します。；
3. 医療画像の構造は単純かつ固定的であり、意味情報が少ない。
U-Net ネットワークの改善
U-Net は医療画像のセグメンテーションにおいて大きな進歩を遂げましたが、まだ問題がありますネットワークの拡張性は理想的ではありません、小さなデータセットをトレーニングする場合、過学習が起こりやすい他の面での欠陥。研究者は通常、対象物の特性、画像モダリティ、アプリケーションシナリオなどの要因に応じて、元のネットワークに基づいて適切な改善方法を選択し、ネットワークセグメンテーションのパフォーマンスを向上させます。
改善の方向性
1. ジャンプ接続を変更する
ジャンプ接続高レベルと低レベルの機能を統合できるだけでなく、ネットワークの収束を高速化することもできます。、さまざまな形式のスキップ接続を組み合わせることで、ネットワークは追加のバックエンド処理を行わずに理想的なセグメンテーション結果を達成できます。
2. 新しいテクノロジーの導入
新しい注目モジュール、融合モジュールなどを提案します。
3. 他のネットワークを統合する
resNet を U-Net および他のフュージョン ネットワークと組み合わせます。
4. ネットワークカスケード
U-Net とその改良版に基づく医療画像セグメンテーション
概要と展望
この記事では、医療画像セグメンテーションにおける U-Net のアプリケーションと、U-Net に基づいた改良されたネットワークについてレビューします。研究の進歩により、U-Net とそのバリアント ネットワークは医療画像のセグメンテーションにおいて幅広い応用の可能性があることが示されており、セグメンテーションの結果は従来の方法よりも優れています。問題：
1) 他のセマンティック セグメンテーション データ セットと比較して、医用画像データ セットの規模は、患者のプライバシーが関係するため制限されています。サンプリングはより困難であるため、規模は小さくなります。そしてU-Net ネットワークには多数のパラメータがあり、データ セットが小さい場合は過剰適合する傾向があります。, したがって、ネットワーク構造を調整するために適切な改善方法を選択する必要があります。
２)== 医用画像イメージングは一般的な画像よりも複雑で、アーティファクトが存在する可能性があります== そのため、セグメンテーション効果に影響を与えます。適切な前処理アルゴリズムを選択する必要があります。セグメンテーションに対するアーティファクトの影響を軽減します。
３） 医療画像には、血管や細胞など、精密なセグメンテーションが必要なターゲットが多数あり、密な接続やアテンション メカニズムなどの最適化手法を使用して、セグメンテーション タスクに有益な特徴を強調表示できます。。
4) 上記のセグメンテーション モデルは、Iou と DSC の精度の点で高いレベルに達していますが、結局のところ実験室データに基づいています。U などの深層学習モデル-Netは、実際の診断や治療の環境で使用できるようになるまでには、まだ多くの困難に直面しています。たとえば、トレーニングとテストに使用されるデータは慎重に選択されており、これらの画像データは「クリーン」すぎます。ディープ ラーニング モデルは画像のアノテーションに大きく依存していますが、経験豊富なアノテーターでもアノテーション プロセス中に主観的なエラーを犯す可能性があります。。これらの問題は、学習モデルの精度に潜在的な影響を及ぼします。
5) 多くのネットワーク モデルには複雑な構造と膨大なパラメータがあり、実際のアプリケーション環境で再現するのは難しい場合があります。したがって、今後の作業の方向性は、実験室で高い精度を確保しながらモデルに適切な調整を加え、深層学習を理論から臨床応用に移行できるようにすることです。 U-Net の将来の開発は、エンコード/デコード構造の維持と
接続のスキップに基づいて行われます。 は、次のような他のニューラル ネットワークと組み合わせて、医療画像のセグメンテーションの精度をさらに向上させます。
1) グラフ ニューラル ネットワーク (GAN) は、実験的に証明されているより高品質の画像を生成できます。追加のトレーニング画像を生成してネットワークをトレーニングすると、セグメンテーションのパフォーマンスをある程度向上させることができます。したがって、U-Net またはそのバリアント ネットワーク セグメンテーションを使用する前に、GAN を使用して対応する医用画像を生成し、トレーニング セットを拡張することで、データ セット サイズが小さいという問題をある程度解決できます。 敵対的生成ネットワーク
2) (GNN) は 3D データを処理する際に当然の利点があります。ゲート グラフ ニューラル ネットワークを使用してインタラクティブな 3D 医用画像セグメンテーションを実現する実験が行われています。したがって、U-Net を GNN と組み合わせて 3D 特徴をより適切に抽出できます。