上の「 Xiaobai Learning Vision 」をクリックし、「スター」または「トップ」を追加することを選択します。
重磅干货，第一时间送达画像の登録と相関は、画像処理研究の分野における典型的な問題であり、技術的な困難です。その目的は、同じオブジェクトの異なる条件下で取得された画像を比較または融合することです。たとえば、画像は異なる取得デバイスから取得され、異なる場所で撮影されます。 、異なる撮影画角など、異なるオブジェクトに対して画像レジストレーション問題を使用する必要がある場合があります。
具体的には、画像データ セットのセット内の 2 つの画像について、空間変換を検索することによって、一方の画像 (浮動画像、動画) を別の画像 (参照画像、固定画像) にマッピングします。情報融合の目的を達成するために、図内の同じ空間位置を 1 つずつ対応させます。
画像の位置合わせは、多くの場合、画像融合の前処理ステップです。通常、正確な画像位置合わせを行った画像ペアでは、より優れた融合結果が得られます。
0 1
意味
画像レジストレーションとは、特定の評価基準に基づいて、特定のアルゴリズムを使用して、1 つまたは複数の画像をターゲット画像に (局所的に) 最適にマッピングする方法です。
登録方法、評価基準、画像の種類の違いに応じて、画像の登録方法も異なります。
0 2
問題の背景と用途
画像レジストレーションは、コンピュータ ビジョン、医療画像処理、材料力学、リモート センシングなどの分野で広く使用されています。
画像レジストレーションを適用できる画像タイプは多数あるため、あらゆる目的に対応する一般的な最適化方法を開発することは一時的に不可能です。
画像登録は、医療画像の処理と分析において多くの実用的な用途に使用されます。医用画像機器の進歩により、同一患者に対してCT、超音波、MRIなどの正確な解剖学的情報を含む画像が収集できると同時に、SPECTなどの機能情報を含む画像も収集できるようになりました。しかし、さまざまな画像を観察して診断するには、空間イメージと医師の主観的な経験が必要です。
正しい画像登録方法を使用すると、さまざまな情報を同じ画像に正確に融合できるため、医師は病変や構造をさまざまな角度からより簡単かつ正確に観察できるようになります。同時に、異なる時点で収集された動画像を登録することにより、病変や臓器の変化を定量的に分析することができ、医療診断、手術計画、放射線治療計画をより正確かつ信頼できるものにします。
コンピュータ ビジョンの分野では、ビデオ分析、パターン認識、物体の動きの変化の自動追跡に登録方法を使用できます。
材料力学の文脈では、レジストレーションはデジタル画像相関として知られる機械的特性を研究するためによく使用されます。異なるカメラやセンサーで収集した情報（形状、温度など）を融合・比較することで、ひずみ場や温度場などの値を計算できます。理論モデルに取り込むことでパラメータの逆最適化を行うことができます。
0 3
関連キーワード
01 似た言葉:
画像レジストレーション（マッピングマッチング、相互レジストレーション位置合わせ、融合）
注: マッピングは空間マッピングに焦点を当て、フュージョンは画像の融合であり、登録だけでなくデータ統合後の画像表示も含みます。
02 類似分野:
画像融合、画像スティッチング、画像セグメンテーション、超解像、画像登録、点群登録、SLAM
03 使い方：
類似度測定、位置合わせ精度、位置合わせアルゴリズム、ウェーブレット変換、相互情報量、アフィン変換、特徴抽出、特徴点マッチング、位相相関、コーナー検出、エッジ検出、回転角度、位相相関、遺伝的アルゴリズム、ディープラーニング
04応用 分野：
医療画像、リモートセンシング画像、天気予報、地理情報システム、超解像、モーショントラッキング、自動制御
0 4
質問カテゴリー
画像登録の分類基準は独自のものではなく、以下の2枚の写真は研究者による分類結果（2014年）です。
私自身の理解によると、著者は次のように分類しました。
問題の特性に応じた分類:
1. 登録品質: 登録プロパティ
データまたは特徴から決定される登録タイプ。
自然画像登録、医用画像登録、リモートセンシング画像登録など。
2. 画像取得方法
① 多視点解析：
同じシーンの異なる視野角での同じオブジェクトの多視点登録画像登録。
スキャンされたオブジェクトまたはシーンをより適切に表現するために、複数の視点から同様のオブジェクトまたはシーンの画像をキャプチャします。画像スティッチングの使用、2D 画像からの 3D モデルの再構築など。
②多時間分析：多時間登録
同じシーン内の同じオブジェクトを、異なる時点で同じ視野角で画像登録します。動作追跡、腫瘍成長追跡など。
③マルチモーダル解析：マルチモーダル登録
マルチモーダルレジストレーションは医用画像の分野では一般的であるため、マルチモーダル医用画像レジストレーションを例に挙げます。
なぜなら、医用画像機器は、さまざまな形式の画像（コンピューター断層撮影 CT、核磁気共鳴 MRI、陽電子放射断層撮影 PET、機能的核磁気共鳴 fMRI など）で患者に関するさまざまな情報を提供できるからです。
単一または複数のモダリティ画像に基づく位置合わせは、単一モダリティとマルチモダリティに分類できます。
MEG-MRI マルチモーダル登録
3. インタラクション: 登録プロセスのインタラクティブ性
手動、半自動、または自動
4. 次元性: 画像空間の次元
空間的な次元だけを考慮すると、2D/2D、2D/3D、3D/3D などに分けることができます。時系列要素を考慮すると、異なる時間に抽出された 2 つの画像を登録するという問題もあります。
5. 変換領域：画像変換領域（グローバル/ローカル登録）
6. 登録ベースの性質: 登録ベースの性質
アルゴリズムの基礎となる特徴と類似性の尺度による。
① 内部機能に基づく登録
固有の特徴とは、画像自体の中から抽出された情報を指します。
フィーチャベース:幾何学的に意味のある特徴点セット (不連続な点、グラフィックの転換点、線の交点など) を特定したり、セグメンテーションを使用して対象部分 (曲線または表面) の輪郭をフィーチャとして抽出したりできます。比較用のスペース。医療画像には、解剖学的に重要な点が含まれる場合があります。
ピクセル値に基づく (強度ベース):画像全体のピクセルまたはボクセルを使用して特徴空間を形成します。ピクセル値の統計情報に従って、類似度の計算は最小二乗法、フーリエ法、相互相関法、相互情報量法などに分けることができます。
② 外部特徴に基づく登録
医用画像では、患者にマーカーを固定したり、体内に開発物質を注入したりすることで、画像上に明確なマーカー点を取得し、それを外部特徴点と呼びます。
③異なるデバイスの撮像座標に基づく位置合わせ
7. 登録主体：登録主体
医用画像の登録を例にとると、Intra-subjective（同一患者の画像）、Inter-subjective（異なる患者の画像）、Atlas（患者データとアトラスの登録）の3種類に分類できます。
登録対象 登録対象：頭、胸、胸、目、腹部、膝など...
8. 変換の種類: 変換プロパティ
浮動画像空間を参照画像空間に関連付けるために使用される変換モデルに従って、画像登録アルゴリズムを分類します。画像の空間変換は剛体変換（rigid）と非剛体変換（non-rigid, deformable）に分けられます。
1 つ目のタイプの変換モデルは、回転、スケーリング、平行移動、その他のアフィン変換を含む線形変換です。線形変換は本質的にグローバルであるため、画像間の局所的な幾何学的差異をモデル化できません。
2 番目のクラスの変換モデルでは、「弾性」または「非剛体」変換が可能になります。これらの変換により、浮動画像を局所的にワープして参照画像と位置合わせすることができます。非剛体変換には、動径基底関数 (薄板または表面スプライン、複数の二次関数、コンパクトにサポートされる変換)、物理連続体モデル (粘性流体)、および大きな変形モデル (微分同相写像) が含まれます。
変換モデルはパラメトリックであることが多く、たとえば、画像全体の変換は 1 つのパラメーター (変換ベクトル) で説明できます。これらのモデルはパラメトリック モデルと呼ばれます。一方、ノンパラメトリック モデルはパラメータ化に従わず、各画像要素の任意の変位を許可します。
9. 登録パラメータ: アルゴリズムパラメータ
比較特徴が特徴点セットの形式である場合、変換された解は連立方程式を通じて見つけることができます。
しかし、一般に、位置合わせ問題は、類似度の最適値を解く問題に変換され、その計算方法には、勾配降下法、ニュートン法、パウエル法などの適切な反復最適化アルゴリズムを使用する必要があります。手法、遺伝的アルゴリズムなど。
アルゴリズムの性質に応じた分類:
1. グレースケールベースの画像登録
2. 特徴ベースの画像登録
特定の画像登録アルゴリズムは、これら 2 つの点の混合または変形に基づくアルゴリズムです。
0 5
画像登録の一般的なプロセス
一般に、画像登録テクノロジーには、変換モデル、特徴空間、類似性尺度、検索空間、検索戦略という4 つの側面が含まれます。この 4 つの特徴に応じて、画像登録の手順は一般に次の5 つの手順に分けることができます。
1. 実際のアプリケーションに応じて適切な変換モデルを選択します。
2. グレースケールまたは特徴に基づいて、適切な特徴空間を選択します。
3. 変換モデルのパラメータ構成と選択された特徴に従って、可能なパラメータ変更の範囲を決定し、最適な検索戦略を選択します。
4. 類似性測定を使用して、最適化基準に従って検索空間内を検索し、最大相関点を見つけて、変換モデル内の未知のパラメーターを解決します。
5. 登録する画像と参照画像を変換モデルに従って対応させ、画像間のマッチングを実現します。
その中で、マッチングに適した特徴量をいかに選択するかが登録の鍵となります。
例として、特徴ベースの画像登録の一般的なプロセスを取り上げます。
特徴ベースの画像登録の一般的なワークフロー
1.特徴検出：特徴検出
特徴検出は、画像登録プロセスにおける重要なタスクです。問題の複雑さに応じて、通常は手動検出と自動検出に分けられますが、通常は自動特徴検出が好まれます。
閉じた境界、エッジ、等高線、線の交点、角、および重心や線の端などの代表点 (総称して制御点と呼びます) をフィーチャとして使用できます。特殊なオブジェクトで構成されるこれらの特徴は、検出が容易でなければなりません。つまり、特徴は物理的に解釈可能であり、識別可能である必要があります。
参照画像は、未知のオクルージョンや予期しない変化の影響を受けないように、浮動画像と十分に大きな共通の特徴セットを共有する必要があります。検出に使用されるアルゴリズムは、特定の画像の変形や劣化の影響を受けることなく、シーンのすべての投影で同じ特徴を検出できるほど堅牢である必要があります。
2.特徴マッチング：特徴マッチング
このステップは基本的に、登録される画像と参照画像内で検出された特徴との間の対応関係に基づいています。
特徴間の空間的関係に加えて、さまざまな特徴記述子と類似性尺度が登録の精度を決定するために使用されます。
特徴記述子は、いかなる劣化に対しても変化しないように適切に構成する必要があり、同時にノイズの影響を受けず、異なる特徴を適切に区別する必要があります。
3.変換モデル推定：画像変換モデルの評価
浮動画像を参照画像に登録するには、マッピング関数のパラメータを推定する必要があります。これらのパラメーターは、前のステップで取得した対応する特徴を使用して計算されます。
マッピング関数の選択は、画像取得プロセスと予想される画像変形に関する事前の知識に依存します。事前情報がない場合は、モデルの柔軟性を確保する必要があります。
4.画像変換/リサンプリング：画像変換
マップを使用して、浮動画像を画像変換して登録します。
0 6
画像登録品質の評価基準
画像レジストレーションの精度と品質を評価する何らかの方法が必要です。
同時に、画像の種類ごとに異なる評価基準を使用する必要があります。
現在、画像レジストレーションの品質を評価するための絶対的なゴールド スタンダード (ゴールド スタンダード) はありません。
医療画像を例に挙げると、最も古典的な評価方法として次の 2 つが挙げられます。
シングルモード イメージ レジストレーションでは、相関 (相関係数、CC) を使用して効果を測定することが多く、マルチモーダル イメージ レジストレーションでは、相互情報 (相互情報、MI) を使用して測定することがよくあります。
1. 関連性
相関は本質的に、浮動画像が参照画像にどの程度類似しているかを学習する類似性の尺度です。2 つの画像がまったく同じである場合、相関関係は 1 に等しくなります。2 つの画像にまったく相関がない場合、相関値は 0 に等しくなります。相関値が -1 に等しい場合、画像が完全に一致していることを意味します。逆相関とは、一方のイメージがもう一方のイメージのネガティブであることを意味します。相関関係を評価基準として使用することにより、単峰性レジストレーションで満足のいく結果が得られます。
画像取得条件の違いや物体自体の小さな変化によって同じ物体によって生成された画像シーケンスについては、画像間の類似性を最大化する原理を使用して、画像のレジストレーションを実現します。つまり、2 つの画像間の類似性基準を最適化します。変換パラメータ、主に剛体の平行移動と回転を推定します。相関関係は主に単峰性の画像登録、特に病気によって引き起こされる小さな変化を検出するための一連の画像の比較に限定されます。
それは次のように表現されます。
x_i 、 y_i はそれぞれ浮動画像と参照画像の i 番目のピクセルの強度です。
x_m 、 y_m は、浮動画像と参照画像の平均強度です。
2. 相互情報
相互情報量は、2 つの画像内の対応するボクセルの画像強度間の類似性を決定するもう 1 つの尺度です。2 つの画像が正確に位置合わせされると、相互情報が最大化されます。相互情報量の値は非負であり、対称です。その範囲はゼロから始まり、高い値まで変化する可能性があります。高い相互情報量値は不確実性が大幅に減少していることを示し、ゼロの相互情報量値は 2 つの変数が独立していることを明確に示します。
この方法は、2 つのイメージング モードの画像強度間の関係の性質についての仮定を必要とせず、画像のセグメンテーションや前処理も必要としないため、CT/MR、PET/MR、およびその他のイメージングで広く使用されています。メソッドの準備ができました。最大相互情報量法は、さまざまなモードでほぼすべての画像の位置合わせに使用でき、特に画像の 1 つのデータ部分が欠落している場合にも、良好な位置合わせ効果が得られます。
p(x, y) は結合分布関数、p_1(x)、p_2(y) は周辺分布関数です。
画像セグメンテーションの分野における DICE 損失 [5]、エントロピー相関係数 (ECC) およびその他の指標が評価によく使用されます。
0 7
前の作品
1. 古典的な方法
「画像登録技術とそのMATLABプログラミング実装」
画像登録方法：アンケート
画像登録テクニック：アンケート調査
変形可能な医療画像の登録: 調査
2. 関連研究
医用画像の登録 (参考: 医用画像解析の深化: 概念、手法、課題、および将来の方向性)
記事リンク:
[1]https://arxiv.org/pdf/1902.05655.pdf
[2]https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
関連レビュー記事：
画像登録方法：アンケート
画像登録テクニック：アンケート調査
スライスからボリュームへの医用画像の登録：調査
医用画像解析におけるディープラーニングに関する調査
医用画像登録技術_羅淑銭
関連するフロンティア記事:
医療画像登録におけるディープラーニング: 調査
医用画像解析におけるディープラーニングに関する調査
医用画像解析におけるディープラーニング
AD診断における共同回帰および分類のための新しい関係正則化特徴選択法
MRI のみの放射線治療に代わる CT 生成のレビュー
完全に接続された CRF を備えた効率的なマルチスケール 3D CNN により、脳病変を正確にセグメンテーションします
拡散トラクトグラフィーに基づいてヒトのコネクトームをマッピングするという課題
0 8
関連するオープンソース ツール
従来の方法と古典的なツール:
ITK チュートリアルで提示された資料
ミーヴィスラボ
MATLAB
Bai Xiaoyu: [Xiao Baixiang] MATLAB 画像登録方法の紹介と比較 (https://zhuanlan.zhihu.com/p/64182180)
MATLABを用いた画像登録手法（https://ww2.mathworks.cn/discovery/image-registration.html）
Matlab を使用したマルチモーダル MRI 画像の登録（https://ww2.mathworks.cn/help/images/registering-multimodal-mri-images.html）
elastix: 画像のリジッドおよび非リジッド登録のためのツールボックス（https://elastix.lumc.nl/）
niftyreg: ほぼリアルタイムで堅牢なリジッド、アフィン (ブロック マッチングを使用)、および非リジッド イメージのレジストレーション (自由形式変形アルゴリズムのリファクタリング バージョンを使用) を実行するためのツールボックス。(https://sourceforge.net/projects/niftyreg) /）
パイソン:
VoxelMorph: 変形可能な医用画像登録のための学習フレームワーク（https://paperswithcode.com/paper/voxelmorph-a-learning-framework-for）
Quicksilver: 高速予測画像登録 - 深層学習アプローチ（https://paperswithcode.com/paper/quicksilver-fast-predictive-image）
AirLab: Autograd 画像登録ラボラトリー（https://paperswithcode.com/paper/airlab-autograd-image-registration-laboratory）
その他の関連するオープンソース ツールについては、次を参照してください:
Papers With Code : Image Registration(https://paperswithcode.com/task/image-registration)
0 9
データセット
医療画像のオープンデータベース:
https://github.com/sfikas/medical-imaging-datasets
公的登録データベースとその公式結果分析:
MICCAI 2018、2019 MR および超音波登録: Curious2019 - Grand Challenge (https://curious2019.grand-challenge.org/)
ISBI 2019 病理画像登録: AHIR - グランド チャレンジ (https://anhir.grand-challenge.org/)
arxiv: 1904.10535（https://arxiv.org/ftp/arxiv/papers/1904/1904.10535.pdf）
自動_非剛体_ヒストロジカル_登録_チャレンジ（https://www.researchgate.net/publication/332428245_自動_非剛体_ヒストロジカル_画像_登録_チャレンジ）
参考資料 (下にスワイプすると詳細が表示されます)
[1] Wiki画像登録 https://www.wikiwand.com/zh/%E5%9B%BE%E5%83%8F%E9%85%8D%E5%87%86
[2] 画像登録入門 https://blog.csdn.net/carson2005/article/details/38757379
[3] 画像登録技術に関する調査、2017 年 11 月 28 日、1712.07540
[4] 医用画像登録技術_羅淑銭
[5] DICE係数 https://www.wikiwand.com/zh/Dice%E7%B3%BB%E6%95%B0
[6]医用画像解析の深掘り：概念、手法、課題、将来の方向性 https://arxiv.org/pdf/1902.05655.pdf
[7]https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
この記事の出典 | https://zhuanlan.zhihu.com/p/80985475
著者 | 白暁宇
この記事は学術的な共有のみを目的としています。侵害がある場合は、連絡して記事を削除してください。
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~