医用画像登録とは、画像内容の一致原理に従って、異なる医用画像を同じ座標系に変換することです。医用画像のレジストレーションでは、異なる観測ポイント、異なる時間、または異なる機器 (CT、MR、US など) からの画像ペアを扱うことが非常に必要です。従来の登録方法は、経験豊富な専門家が手作業で標準登録を行っていましたが、この手動標準登録方法では時間と労力がかかり、大きな誤差が生じる可能性があります。登録の効率と信頼性の高い精度を向上させるために、自動登録が登場しました。2012 年に AlexNet ネットワークが導入されるまで、深層学習以外の登録方法も非常に一般的でした。深層学習は、ターゲット検出、特徴抽出、画像セグメンテーション、画像分類、画像注釈、および画像再構成のアプリケーション。
当初、深層学習は、反復および強度ベースの登録のパフォーマンスを向上させるために使用されました。その後、学者は直感的な画像登録に強化学習を使用し、高速な登録方法の必要性から、計算による変形評価の開発が促進されました。また、ゴールド スタンダード データが不足しているため、教師なしワンステップ トランスフォーメーションの開発が促進されています。教師なし手法の難しさは、類似度の測定に適切な評価関数を使用することです。ソリューションには、情報理論に基づく類似性測定、解剖学的構造に基づくセグメンテーション、および敵対的生成ネットワークの使用が含まれます。
上の図は、深層学習処理の登録のさまざまな方法を示しています.
この記事では、次の 3 つの側面を紹介します:
1. 深度反復登録;
2. 教師あり変換推定;
3. 教師なし変換推定;
1.詳細な反復登録
強度ベースの自動登録方法では、画像間の最大の類似性を得るために、類似性測定関数と変換パラメーターを更新する最適化関数が必要です。一般的な類似性評価方法には、差分二乗和 (SSD)、相互相関 (CC)、相互情報量 (MI)、正規化相互相関 (NCC)、正規化相互情報量 (NMI) などがあります。
1. 深さ類似度による登録
登録フロー チャートは次のとおりです。
そのうち、実装はトレーニングおよびテスト中にデータを送信するデータ フローを示し、点線はトレーニング フェーズ中にのみ使用する必要があります。
1.1 シングルモーダル登録
一部の学者は、畳み込みスタック オートエンコーダー (CAE) を使用して変形可能な単峰性画像特徴を抽出し、勾配降下法を使用して NCC を最適化します; 一部の学者は、3D-CNN のみを使用して画像特徴間のマッピング エラーを評価します; 一部の学者は、CNN 記述子を手動でMRF自己相似記述子にラベルを付け、CNN記述子の効果はMRF記述子の効果ほど良くはないことがわかりましたが、情報を補足するために使用できます。
1.2 マルチモーダル登録
手動で注釈を付けた類似性測定は、マルチモーダル イメージ レジストレーションではほとんど成功していません。そのため、一部の学者は、類似度の測定にスタックド ノイズ除去オートエンコーダ (stacked denoising autoencoder) を使用することを提案し、その効果が NMI およびローカル相互情報量 (LCC) よりも優れていることを発見しました; 一部の学者は、CNN を使用して、整列されたマルチモーダル画像と勾配降下法を使用して変形場のパラメータを更新します; さらに、一部の学者は、類似度測定 (剛体レジストレーション) に 5 層ニューラル ネットワークを使用し、最適化に Powells 法を使用します; 一部の学者は、CNN を使用してターゲット レジストレーション エラーを予測します(ターゲット登録エラー、TRE) 従来の最適化手法を使用する前に、進化的アルゴリズムを使用して解空間を探索し、学習メトリックの凸性の欠如を解決します; 一部の学者は、長短期記憶空間共変換ネットワーク (LSTM 空間共変換) を使用しますネットワーク) for iterative registration
, ネットワークは 3 つのステップで構成されています: 歪んだ画像, 残差パラメータの予測, パラメータの組み合わせ.
上記の 2 種類の登録は, 深層学習が困難な登録タスクに適用できることを示しています.シングルモードに適した状態の場合の補足情報として使用され、反復法はリアルタイム登録には適していません。
2. 強化学習による登録
事前定義された最適化アルゴリズムの代わりにトレーニング済みの自己エネルギー体を使用することで、強化学習は通常、剛体の登録問題を処理し、非剛体の登録問題も処理できます。
一部の学者は、貪欲な監視アルゴリズムと注意主導の階層戦略をエンドツーエンドのトレーニングに使用しており、厳格な登録の結果は、MI ベースの登録や確率マッピングのセマンティック登録よりも優れています。一部の学者は、Q ラーニングを使用し、コンテキスト コンテンツを使用しています。画像の深さを投影し、決闘ネットワークを使用し、最終的な報酬と非最終的な報酬を区別する. 一部の学者は、複数の自己エネルギーシステムを使用し、自動注意メカニズムを使用して複数の領域を観察し、マルチの有効性を証明しています. - エージェントメカニズム; 一部の学者は、ランダムなアクションの選択に影響を与えるために、登録とファジーアクション制御に低解像度 (限られたアクション空間次元) モデルを使用します; 強化学習の欠点は、高解像度を処理する能力の欠如です (非
-剛体変形、変形作用複合体)。
2. 教師あり変換推定
反復操作は、特に高次元の変形可能な登録で、登録時間を遅くします。これから、予測変換の必要性が導き出され、完全に監視された登録には、損失関数を定義するためにチャンピオンシップ データが必要です。
1.完全教師あり変換推定
反復操作の代わりにニューラル ネットワークを使用すると、登録プロセスの時間が大幅に短縮されます.ただし、高緯度ソリューション空間での FC 全結合層の消費電力が大きいため、通常、従来の畳み込みニューラル ネットワークは変形可能なソリューションには使用されません変換予測モデル。予測変形ネットワークは完全に畳み込みであるため、解空間を制限する追加の計算上の制約は導入されません。
1.1 厳密な登録
一部の学者は、6 つの変換パラメーター (x、y 軸の 1 mm の変位と 1° の回転) を 3 つのグループに分割する階層回帰法を使用して、CNN を使用して剛体登録行列を予測し、変換されたデータをゴールド スタンダードとして使用して改善します。効率の理由は、レジストレーションに最適化アルゴリズムを使用せずに順方向に伝播することです; 一部の学者は、標準アフィン変換と予測変換の間で MSE を使用して、アフィン画像レジストレーション ネットワーク (AIRNet) をトレーニングします; 一部の学者は、残差回帰ネットワークを使用します (初期登録用)、修正ネットワーク (登録範囲の拡張)、および二変量測地線距離ベースの損失関数 (二変量測地線距離ベースの損失関数); さらに、学者はペアワイズ ドメイン適応モジュール (ペアワイズ ドメイン適応モジュール (PDA) ) 事前訓練された CNN ネットワークに、ドメイン適応モジュールを使用して、合成データと実際のデータの違いを緩和します; 他の学者は、CNN を使用して、T1 および T2 加重 MRI 剛体登録変換パラメーター、単一モーダルおよびマルチモーダルを返しますシングルモーダルモードでは、低レベルの特徴を抽出するための畳み込みパラメータが共有され、マルチモーダルモードでは、パラメータは個別に学習されます。
1.2 変形可能な登録
一部の学者は、U-Net および FCN ネットワークを使用して可変変形場を取得し、大微分純粋メトリック マッピング (大微分同相メトリック マッピング) を使用してバイアス パラメーターを提供します。次に、一部の学者は、改良された U-Net ネットワークを使用して与えられた を計算します。 SSD を損失関数として使用する. 一部の学者は CNN を使用して入力パッチの画像に対応する変位ベクトルを取得し, すべての変位ベクトルは登録フィールドを構成します. 彼らはまた, 入力画像間の類似性を使用して支援します.トレーニング. 彼らはまだバランスの取れたアクティブなポイントガイドサンプリング戦略を使用して、より高い勾配サイズと変位値を持つピクセルブロックをサンプリングしてトレーニングする可能性を高めていることに注意してください. 一部の学者は、非モーション補正登録にCNNを使用しています.一部の学者はパラメータを変換します 変分ガウス分布の低レベルのヘッション近似は、変形可能な登録に関連する不確実性を定量化します; 一部の学者は、DVF を使用してデータセットを強化し、マルチスケール CNN を使用してデータを処理し、異なる特徴マップを取得します大小の特徴マップを組み合わせて (デュアル チャネル) トレーニング用の入力データとして使用し、3D-CNN ネットワークを使用して (教師ありの場合は医用画像の使用を削減)、マルチスケールに使用します。上記の方法とは異なり、一部の学者は統計的外観モデル (SAM) を使用して便利なデータを生成し、FlowNet ネットワークをトレーニングに使用します. この方法は、CNN よりもランダムに生成するのに適しています.データ; 一部の学者は、標準的なデータ生成の CNN 学習のもっともらしい変形を使用します。
教師あり変換予測方法の限界は、登録の品質が注釈付きデータセットの品質によって決定され、注釈付きデータがデザイナーの専門知識によって決定されることです (このスキルを持つ専門家はほとんどいません)。問題はある程度緩和できますが、合成データと臨床データの類似性を確保する必要があります。
2. デュアル/弱い教師あり変換推定
二重教師あり変換は、標準データと定量的類似性の尺度を使用してモデルをトレーニングすることであり、弱教師あり変換は、関連する解剖学的構造を使用してセグメント化およびオーバーラップし、損失関数を設計することです。
2.1 二重監督
一部の学者は、予測マップとグラフの類似性と、歪んだ画像と固定された画像の類似性の間には 2 つの類似点があります; 一部の学者は GAN ネットワークに触発され、設計ジェネレーターを使用して剛体変換を予測し、弁別器を使用して標準変換に合わせた画像と予測変換に合わせた画像 ユークリッド距離と敵対的損失を使用して損失関数を形成する画像。
2.2 弱い監督
一部の学者は、トレーニングにラベルの類似性を使用し、トレーニングと学習にローカル ネットワーク (ローカルの高密度変形フィールドを予測) とグローバル ネットワーク (12 自由度のグローバルな放射状変換を予測) を使用し、ローカル ネットワークはグローバル ネットワークによって出力された動画像を取得します。の変換と固定イメージが入力として結合され、その後にエンドツーエンドのフレームワークが続きます。
一部の学者は、より現実的な予測画像を得るために、ラベルの類似性の最大化と敵対的損失項目の最小化の両方を使用します; 一部の学者は、二重監督と弱い監督に基づいてラベルと類似性メトリックを導入します. 心臓の動的追跡の損失関数も使用されますセグメンテーションのオーバーラップとエッジベースの正規化された勾配フィールド距離を使用して損失関数を構築します。
予測はすでにディープ ラーニングの主要なブレークスルーですが、データに大きく依存しています. 部分的/弱い監視は、標準データ セット (ラベル値を持つ標準データ セット) の需要を効果的に軽減しますが、手作業は依然として必要です. 弱い監督により、マルチモダリティのコンテキストで類似性の定量化が可能になります。
3.教師なし変換推定
3.1 教師なし変換推定に基づく類似度
類似性測定のフロー チャートは、上記の二重監督と比較して、ゴールド スタンダードの損失値が欠落していることを示しているため、教師なしです。
標準データを取得することの難しさを克服するために、一部の学者は、FCN を変数の登録に使用し、NCC やその他の正則化項目 (滑らかな制約など) を損失関数として使用することを提案しています。は単一モーダルの状況に使用されます; 一部の学者は NCC を使用して FCN を登録用にトレーニングし、DVF を使用して動画を登録し、または Elastix ツールボックスを使用します; 一部の学者は単一モーダル登録にマルチステージ マルチステージ スケール メソッドを使用し、NCC を使用しますネットワークをトレーニングし、アフィン変換を予測し、次に B スプライン変換モデルを使用して粗から微細への変形を実行するための曲げエネルギー正則化項; 一部の学者は、歪んだ画像とマッチングを最小限に抑えます 準画像間の SSD 上限; 一部の学者は使用しますMSE を損失関数として使用して、粗いものから細かいものへの教師なし変形の登録; 一部の学者は、8 つの完全に接続されたレイヤーを使用して、学習した潜在的な表現を登録し、埋め込み 変形場はメソッドによって取得され、絶対誤差の合計 (SAE) は次のとおりです。損失関数として使用; 別の学者は、線形および局所レジストレーションに CNN を使用し、アフィン変換 (剛体) と変形 (変形可能) を推定し、MSE と正則化項を使用して損失関数を推定します; 一部の学者は、ニューラル ネットワークを使用して関係を学習します登録の信頼性を高めるために、類似性測定と TRE の間; 後に一部の学者は、変分推論としてカスケード変数予測を使用し、微分積分を変換器と組み合わせて速度場を取得し、次に速度場を二乗および再スケーリングし、積分して変形場を取得し、損失関数として MSE および正則化項を使用します; 初期化モジュール、低容量モードを使用して Fiam フレームワークを提案し、スキップ接続の代わりに残差リンクを使用します。これも VoexlMorph と比較して優れたパフォーマンスを示します。別の学者は、移行学習に基づく方法を使用し、特徴抽出と変換推定に U-Net のようなフレームワークを使用し、損失関数として NCC を使用します; マルチモダリティの類似性を測定することは困難ですが、一部の学者は 3D-トレーニングにピクセル強度と勾配情報を使用する、特徴抽出器と変形場生成器で構成される CNN モデル。
モダリティ内の画像類似度をマルチモーダル変形登録に利用する研究者もいる.NCCでは標準変形場で歪んだ動画像と予測変換で歪んだ動画像を損失関数として計算する.別の研究者は逆無矛盾深層ネットワーク(Inverse Consistent Deep Network、ICNet) は、同じ空間に配置された各 MR 画像の対称微分変換を学習し (固定画像が 1 つしかないことを理解しています)、逆無矛盾正則化項と反折り畳み正則化項を使用することで、非常に滑らかな制約は、MSE を類似度の尺度として使用して、変形フィールドを崩壊させません。
次のメソッドでは、教師なし GAN ネットワークについて説明します。GANネットワークを使用して、合理的な変形範囲の密度関数を暗黙的に学習します.NMIに加えて、構造的類似性指標測定(SSIM)と機能認識損失項目が追加されます.損失関数は、条件付き制約と循環制約で構成されます. ; また、一部の学者は登録に GAN ネットワークを使用し、ディスクリミネーターを使用してアライメントの品質を評価しますが、これはデータセットで実際のデータ、SSD、および CC を使用するよりも優れています; 別の学者は、GAN を使用してセグメンテーションと登録を同時に実行します時間、3 つの入力を使用、固定、移動イメージと固定イメージのセグメンテーション マスクは、変換されたイメージのセグメンテーション マスクと変形フィールドを出力し、3 つのディスクリミネータは、サイクルの一貫性と DICE 係数を使用して、変形フィールド、歪んだイメージの影響を評価します。およびセグメンテーション、それぞれ。
一部の学者は、マルチグリッド B スプラインと L1 ノルム正則化 CNN を使用して、変形の最適なパラメーター化を学習し、SSD を類似性尺度として使用し、L-BFGS-B を最適化として使用します。
ほとんどの教師なしメソッドは単一モーダル登録に適していますが、教師なしマルチモーダル登録メソッドをさらに開発する必要があります。
3.2 特徴ベースの教師なし変換予測
これは教師なしの特徴ベースの登録フローチャートです. 上の図と比較すると, 入力画像を特徴空間にマッピングする特徴抽出器がもう1つあります. これは, パラメータの変換と予測に便利です.
3.2.1 シングルモダリティ登録
一部の学者は、再構築された固定画像と対応する歪んだ画像の間の L2 距離と、いくつかの正則化項目を損失関数として使用して、固定画像を再構築するためにオートエンコーダーをトレーニングします; 一部の学者は、主成分分析ネットワークを使用したテンソルベースの MIND メソッドを使用します。シングルモーダルおよびマルチモーダル登録; 他の学者はランダム潜在空間学習法を使用して登録のための空間正則化をバイパスし、条件付き変分オートエンコーダーを使用してパラメーター空間が所定の確率分布に従うことを保証し、固定画像の潜在表現を使用します負の対数のツイストと KL 発散が損失関数として使用されます。
3.2.2 マルチモーダル登録
コスト関数として DICE 係数を使用して、トレーニング済みネットワークで教師なし特徴抽出とアフィン変換パラメーター回帰を使用する登録方法。
マルチモーダル登録、特に外観に大きな違いがある登録に関するさらなる研究を期待してください。
4. 研究動向と今後の方向性
4.1 深い敵対的画像登録
敵対的ネットワークは、識別器を類似度の学習として使用し、予測変換モデルの信頼性を保証し、画像変換 (マルチモーダル問題をユニモーダル問題に変換) を実行できます。一部の学者は、ディスクリミネーターを使用して、位置合わせされた画像ペアと位置合わせされていない画像ペアを区別しますが、事前に位置合わせされた画像ペアが必要です。ディスクリミネータは、同じラベルを持つすべてのずれている画像のペアを区別するために使用され、判断のために間違ったスペクトル座標を確立することは望ましくありません。変形可能なレジストレーションによって予測される変形場は、非現実的である可能性が高い. 通常、L2ノルム、勾配、またはラプラス定数項が損失関数に追加されますが、これにより予測される変形のサイズが制限されるため、一部の学者は使用を提案しています.クラス GAN ネットワーク。ディスクリミネーターを使用して変形予測を制限します。画像変換は、ユニモーダル類似度測定の使用からも恩恵を受けます。前処理プロセスで画像変換が必要になった場合、一般的に使用される類似度測定を使用して損失関数を定義できます。
4.2 強化学習による登録
強化学習に基づく方法はより直感的で、医師の登録を模倣できます。深層学習が直面する課題には、変換空間の次元を取得するための変形登録が含まれ、強化学習に基づく方法はこの問題に対処できます。
4.3 RAW イメージのドメイン登録
ディープ ラーニングが元のデータ ドメインのデータ ポイントを再構成用の再構成された画像ドメインにマッピングできることを示す十分な例があります。
5. まとめ
ますます多くの深層学習手法がありますが、それらはすべて独自の課題に直面しています.共通の課題は、マルチモーダル類似性測定の欠如、十分なデータを含むデータセット、標準データの欠如、定量的モデル予測.不確実性. リサンプリングと補間は研究者によって見落とされることが多く、十分な注意を払う必要があります。
学習のみの場合、侵害は削除されます