论文阅读--Retinal血管系のセグメンテーションは、画像の超解像のためのローカル顕著性マップとジェネレーティブ敵対ネットワークを使用して
IBMリサーチオーストラリアから
ICIAR2018
概要
本論文では、生成的対立ネットワークに基づく超解像度再構成を提案し、低解像度眼底画像に基づいてスケール= 16の高解像度画像を生成する。これは、特にぼやけた画像や小さな画像の診断のために、高度な自動画像分析に役立ちます。ローカル顕著性マップは各ピクセルの重要性を示し、顕著性損失はGAN損失関数の一部として各ポイントの重みに従って計算されます。実験結果は、生成された高解像度画像が視覚的に元の画像に近く、網膜血管セグメンテーションを実行するときに超解像度画像を使用する精度が元の画像に近いことを示しています。
セクションIはじめに
従来の網膜眼底画像は、初期の病的レントを検出してセグメント化するために高解像度を必要としますが、学校に通った目立たない微小動脈瘤、出血、または小さな血管枝を検出するには十分ではありません。画像超解像度アルゴリズムの助けを借りて、高精度の超解像度画像を単一のビデオディスク画像から取得できます。これは、プロセス中のLR低解像度画像の送信に役立つため、リモート眼科に非常に適しています。元のLR画像では、新しい血管を検出して小さな血管枝をセグメント化するだけでは不十分です。眼科医はこれを使用して、疑わしい領域の異常を分析できます。
医療画像の超解像度アルゴリズムは、多くの場合、例または自己類似性（自己類似性）メソッドに依存しますが、それらはすべて外部データに大きく依存します。パラメーター化された生成モデルは、元のLR画像から学習して高解像度MRにマッピングできます。脳の画像と脳室の画像。ただし、HR画像の参照として、トレーニングセット内で最も一致度の高い候補パッチを検索する必要があるため、計算能力は非常に要求されます。他の方法には、ランダムフォレスト、CNNなどがあります。最近、超解像度の医療画像の分析問題を解決するために、GANにさらに焦点が当てられています。
ジェネレーターとしてResNetに基づくGANアーキテクチャーは、最も高度なGANフレームワークですが、損失関数に十分な構造情報が明示的に含まれていないため、スケール係数が4を超える網膜Xu Xiangには効果が良くありません。この問題を解決するには、この論文では、GANに基づく超解像度アルゴリズムを提案し、損失関数に次の革新を加えます。
（1）曲率マップに従って局所顕著性マップを計算し、局所構造情報
を強調します。（2）エントロピーフィルタリングを使用してコンパクト領域を強調します。
この2つを組み合わせると、元のLR画像のコンテンツ情報と感覚情報をより適切に維持できます。次に、このペーパーで提案する方法を網膜超解像度画像でテストします。
セクションII顕著性マップの計算
既存の顕著性計算方法はすべてグローバル顕著性領域を強調していますが、各ピクセル値の重みはローカル顕著性マップを使用する必要があります。論文[11]に触発されて、この論文は抽象化（抽象化）と要素分布（要素の分布）と一意性（一意性）を組み合わせて、ローカル顕著性マップを計算します。
抽象化：
fx、fyは一次導関数、fxx、fyyは二次導関数です。
要素分布：
構造のコンパクトさと連続性をキャプチャするために使用され、最初にピクセルエントロピーを計算します。ピクセル：
Nsは近傍のサイズ（7x7）を指定し、Piはヒストグラムに基づいて計算された確率密度です。
取得したIentには、非コンパクト領域に低い値が割り当てられます。[0,1]-> 1-Ientに正規化すると、強調表示されたコンパクト領域を取得できます。
**一意性：**
Dfは重量差の合計を計算し、ぼけの導入を回避するために、i点とi番目の隣接点siの差の絶対値を計算し、[0,1]最終顕著性マップに正規化します。計算式は次のとおりです。
図1は順番に示しています：元の画像->灰色の画像-> 1-Ient->湾曲した画像Icurv-> Isal
セクションIIIGAN
ISRは、低解像度の画像に基づいて高解像度の画像を予測する役割を果たします。
トレーニング中、Ilrは、HR画像のガウスフィルタリングによって取得される高解像度画像Ihrに対応する低解像度バージョンです。
生成ネットワークGは、超解像度の画像を生成するために使用されます。図2から、残りのモジュールがGに導入され、各ブロックに2層の畳み込みBN-ReLUが含まれていることがわかります。識別ネットワークDは、SR画像と実際の画像を区別する役割を果たし、Dの畳み込みカーネルのサイズは2から2の範囲です。 > 64-> 512、Leaky ReLUはアクティベーションに使用され、最終的な確率マップは2つの完全に接続されたレイヤーとシグモイドを介して取得されます。
パートA損失機能
コンテンツの損失：
Lsrには、コンテンツ損失とカウンター損失が含まれます。アルファは、2つの比率を評価する要素です。コンテンツ損失のMSEにより、SR画像と元の画像の間のL2距離を計算するための、SR画像の高周波情報が不足します。
したがって、この記事のMSElossでは、知覚に重要な詳細情報を保持するために追加の重み付けが使用されています。
損失顕著性損失
測定されるのは顕著性マップとHR画像の差であるため、重要な構造情報が損失関数に含まれます。
敵対的損失：
すべてのトレーニングサンプルに基づいて計算された生成的損失
セクションIVの実験と結果
データセット：さまざまなソースから5000の網膜画像を取得し、回転とアフィン変換後に10倍に増幅しました。さらに、暗い領域を削除し、1024x1024にサイズ変更しました。
GANで使用されるオプティマイザAdam、G生成ネットワークはResNetに基づいています。スケールファクターr = 2の場合、トレーニング時間は14時間、r = 4 26時間、r = 8 40時間です。
パートAの超解像度の結果
が比較に参加します：SRGAN主導、SRGAN-sal（この記事）、SR-CNN、SSRなど。評価指標は、PSNR、SSIM、S3、RMSEです。最初の3つの指標はますます高くなり、最後の指標は可能な限り低くなります。
表Iに比較結果を示します。この記事のSRGAN-salが最良の結果を達成していることがわかります。図3は視覚化の結果であり、（a）は元のHR画像、（b）はテキスト方式で取得された超解像度画像です。 、細血管枝がはっきりと見えており、（c）、（d）よりも効果が優れていることがわかります。
パートB網膜血管セグメンテーションの結果
使用されるデータセットは、それぞれ40、20、および28の眼底画像を含むDRIVE、STARE、CHASE_DB1です。セグメンテーションフレームワークはUNetを使用し、評価指標にはAccおよびSenが含まれます。
図4から、SRGAN-sal画像とHR画像のセグメンテーション結果が最も近く、黄色の矢印はセグメンテーションの正確でない部分を示していることがわかります。ほとんどすべての画像が微細な毛細血管構造の微細なセグメンテーションを実行できず、SSRおよびSR-RFはいくつかの主要な血管のセグメンテーションに対してあまり正確ではないことがわかります。
セクションV結論
GANに基づいて、眼底画像の超解像度アルゴリズムを提案します。ローカル顕著性マップを使用すると、ピクセルの知覚相関を効果的に改善できるため、ピクセルの重量に応じて顕著性損失を計算でき、この損失をGANのトレーニングに追加して効果的に改善できます。 SR画像の品質を向上させます。実験結果はまた、顕著性損失とCNN損失の複合効果が、既存のGAN ISRアルゴリズムよりも優れていることを示しています。得られた最終的な超解像度画像は、SR画像を網膜血管分析に使用する場合など、さまざまな分析にさらに使用できます。元の画像は同様のセグメンテーション結果を達成しており、この記事の方法は他の医療画像にも適用できます。