ヒント: 記事を作成した後、目次を自動的に生成できます。生成方法は、右側のヘルプドキュメントを参照してください。
記事ディレクトリ
序文
画像レジストレーション方法は数多くありますが、グレースケールベースの画像レジストレーション方法と特徴ベースの画像レジストレーション方法に分けることができます。このうち、特徴ベースの画像レジストレーション方法は、スケール不変特徴量変換などの現在の画像レジストレーション アルゴリズムで一般的に使用されています。 (スケール不変特徴変換、SIFT) 画像レジストレーション アルゴリズム。SIFT アルゴリズムは、画像のスケール空間を使用して特徴点を検出し、128 次元の記述ベクトルを使用して特徴点を記述し、特徴点の記述ベクトルに従って特徴点マッチングを実行します。この方法は、画像の移動、回転、照明、スケール変換に対して不変であり、画像レジストレーション アプリケーションに適しています。
特徴ベースの画像登録方法を使用して赤外線画像と可視光画像を登録する場合、赤外線カメラは撮影にシーンの赤外線を使用するため、赤外線画像には局所的または全体的なコントラスト反転の問題が発生し、その結果、特徴の説明が必要になります。赤外光画像と可視光画像の特徴点の記述が大きく異なり、可視光画像との特徴点マッチングが完了できません。赤外画像のコントラスト反転によって引き起こされる位置合わせの失敗を解決するために、本論文は記述子再結合戦略を採用して、赤外画像の特徴記述を再編成し、赤外光画像と可視光画像の特徴マッチングを実現し、画像を完成させる登録。
1. 登録の基本原則
赤外線画像カメラと可視光画像カメラが画像を収集するとき、2 つのカメラ間の解像度の違い、カメラの空間的位置の違い、およびカメラの光軸が平行ではないため、幾何学的変換 (平行移動、平行移動) が発生します。 2 つの画像間の回転、スケーリングなど）、画像レジストレーション技術により、赤外線画像と可視光画像の空間的位置合わせを実現できます。画像登録技術は、登録する画像を特定の変換モデルに従って参照画像にマッピングすることで、画像間のマッチングを実現します。
画像の登録処理では、主に異なるイメージセンサーの撮像アレイサイズの違いにより、登録する2つの画像の解像度が大きく異なるという問題があります。解像度の低い画像を基準画像と同じ大きさに拡大する方法と、解像度の高い画像をダウンサンプリングして登録する画像と同じサイズにする方法があります。通常、可視光画像の空間解像度は赤外画像の空間解像度よりも高いため、この方式で一対の赤外画像をアップサンプリングすると、赤外画像に対して補間などの超解像処理を行う必要があり、解像度が低下しやすくなります。画像のエッジがぼやける（特に画像の解像度の差が大きい場合）。したがって、解像度の差が大きい 2 つの画像を登録する場合は、通常、高解像度の画像をダウンサンプリングして画像を登録します。
1.1 一般的に使用される登録方法
一般的に使用される画像位置合わせ方法には、グレー分布に基づく画像位置合わせ方法と特徴に基づく画像位置合わせ方法が含まれます。グレー分布に基づく画像登録方法では、相互情報量、正規化積相関、アダマール変換などの何らかの判別基準を使用して、基準画像と登録対象の画像のピクセルグレー値の類似性を判断します。画像間の変換パラメータを調整することで、画像間の類似性を最大限に高めて画像の位置合わせを完了することができます。特徴ベースの画像登録方法では、2 つの画像の特徴を抽出し、特徴記述子を使用してそれらを記述し、最終的に記述子の類似性に基づいて 2 つの画像の特徴を照合します。
画像のグレースケールに基づく位置合わせ方法は、参照画像と登録対象の画像に平行移動または回転変換しかない状況を解決するためによく使用されます。ピクセルのグレー レベルと可視光画像内の対応する領域の関係は次のとおりです。このため、グレーレベルに基づく画像登録方法は、赤外光および可視光線の画像登録には適していません。
特徴ベースの画像登録方法における特徴には、主に点、線（エッジ）、領域（面）などが含まれます。これは、領域（面）の特徴の抽出には時間がかかり、使用範囲が限られているためです。 -ベースの画像レジストレーション 画像の点と線の特徴は、標準的な方法でのレジストレーションの基礎として抽出されることがよくあります。ライン特徴に基づく画像登録方法は、主に、Canny オペレーター、Sobel オペレーター、Robert オペレーターなどのエッジ検出オペレーターによって抽出されたエッジ特徴に依存します。これらのオペレーターは、画像内の明確な輪郭と単純な背景による画像登録によく使用されます。 。赤外線画像と可視光画像を登録すると、赤外線カメラの解像度が低いため、赤外線画像の詳細情報が大幅に失われます。同時に，本論文における登録画像は，複雑な都市部の道路交通環境に基づいて車載撮像システムにより収集された画像であり，画像の背景は複雑であり，障害物の輪郭情報は明瞭ではない．ライン特徴に基づく検出では、赤外線画像と可視光画像の位置合わせを実現することが困難です。
点特徴に基づく画像位置合わせ方法は、特徴ベースの画像位置合わせ方法の中で最も一般的に使用される方法であり、FAST (Feature from Accelerated Segment Test) コーナー検出などの画像のコーナー点を抽出することによって、または抽出された極値を使用します。 SIFT アルゴリズムなどの特徴点 (特徴点とも呼ばれる) に従って、登録の基礎として使用されます。このタイプの特徴は通常、スケール不変性と回転不変性を持ち、画像ノイズの干渉に対して一定の抑制効果があり、赤外光画像と可視光画像の位置合わせに適しています。
1.2 登録プロセス
赤外光画像と可視光画像の登録処理において、赤外画像はセンサーの製造プロセスにより鮮明度が低く、ノイズが目立つなどの問題があり、コントラストの高い領域に特徴点が集中するため、画像登録前に画像前処理アルゴリズムが必要となります。夜間の可視光画像のコントラストを改善し、赤外線画像と可視光画像のノイズを低減するために画像を処理するために使用されます。
1.3 画像の前処理
1.3.1 機能拡張
(1) ガンマ変更
(2) ヒストグラム等化
(3) 周波数領域変更
I = imread('火影1.jpg');
J = histeq(I);
figure;
subplot(221);imshow(I);
subplot(222);imshow(J);
subplot(223);imhist(I);
subplot(224);imhist(J);
参考ブログ:画像強調アルゴリズム
(関連する強調アルゴリズム コードを後ほど補足し続けます)
1.3.2 ノイズ除去
(1) バイラテラル フィルタリング
(2) ガイド付きフィルタリング
(3) 非局所平均フィルタリング
(4) 曲率フィルタリング
(5) スライディング ウィンドウ フィルタリング
(6)。。。。
(関連するフィルタリング アルゴリズム コードを後で補足し続けます)
2. 画像登録アルゴリズム
SIFT アルゴリズムでは、抽出された特徴点を 128 次元のベクトルで記述するため、計算量が多く効率が低くなります。アルゴリズムの効率を向上させるために、特徴点マッチングが効果的に実現できることを前提として、特異値分解 (SVD) のデータ次元削減アルゴリズムを使用して特徴ベクトルの次元を削減し、特徴マッチングの計算量。さらに、赤外線画像と可視光画像の位置合わせプロセス中に、赤外線画像にはコントラスト反転の問題が存在し、画像の位置合わせ結果に重大な影響を与えます。この問題を解決するために,本論文は記述子再結合戦略を採用して赤外線画像特徴点の記述ベクトルを再構築し,可視光画像の特徴点と一致できるようにした。
1. SIFTアルゴリズム
SIFT アルゴリズムは、ガウス差分スケール空間を構築することによって画像の特徴点を抽出し、特徴点の周囲の他のピクセルの勾配の大きさと方向を計算し、ヒストグラムのピーク方向を主な方向として、その方向に関するヒストグラム統計を実行します。座標系の x をとり、特徴点の回転不変性を保証するために軸を主方向に回転させ、8 方向の 16 個の近傍領域のピクセルの勾配方向を使用して、合計で特徴点を記述します。 128 次元ベクトル。最後に、ユークリッド距離を使用して特徴点を照合します。
SIFT 画像登録アルゴリズムは、特徴点検出、特徴点記述、特徴ベクトル マッチングの 3 つの部分に分かれており、主にガウス ピラミッドの確立、極点検出、エッジ効果の除去、特徴点主方向計算、特徴記述子の処理が含まれます。計算と特徴点マッチングを行います。
入力画像を使用してガウス ピラミッドを構築する主なプロセスは次のとおりです: まず、画像のダウンサンプリング操作を通じて、異なる解像度を持つ複数の画像セットが取得されます。次に、画像の各レイヤーに複数のスケール特徴を持たせるために、ガウスの異なるパラメータが画像の各レイヤーに使用されます。フィルター カーネルはガウスぼかしを実行します。最終的に、これらの画像はボトムアップ構造のタワー構造に形成されます。
ガウス差分ピラミッド (Difference of Gaussian、DoG) は、ガウス ピラミッドの隣接するスケール画像を差し引くことによって得られます。
DoG スケール空間内のピクセル ポイントを、周囲の 8 つの隣接ポイントおよびそのスケールの隣接スケール イメージ内の 18 ポイントと比較します (図 2.11 を参照)。そのポイントが他のポイントより大きいか小さい場合、そのポイントは次のようになります。特徴点としてマークされます。
。。。。。。。。。。。。。
後ろにたくさんあります、自分で確認してください
1.1 ディスクリプタの組み換え
ヘテロジニアスイメージセンサーによって収集された画像は、視覚に大きな違いがあり、この違いは、図 2.16 にマークされた長方形のボックスと、可視画像の赤と緑の長方形のボックスに示されているように、赤外画像のコントラスト反転現象に反映されます。光画像 領域の赤と緑の長方形と赤外線画像円錐は同じオブジェクトを表しますが、画像上では完全に反対のコントラストを持ちます。赤外画像と可視光画像の位置合わせ処理において、赤外画像のコントラスト反転により、赤外画像の特徴点の記述ベクトルの主方向が可視光画像のそれと逆になり、一致すべき特徴点が一致しなくなります。同じ位置にある画像は一致しないため、画像の登録に失敗します。
記述子再配置戦略 (記述子再配置、DR)。DR 戦略の考え方: 赤外線画像の特徴抽出後に特徴記述子を反転することで、コントラスト反転後の画像の特徴と特徴記述を再抽出することなく、コントラスト反転記述子が取得されます。赤外線画像を使用すると、画像特徴点抽出が 1 つ削減され、画像登録速度が向上します。赤外線画像と可視光画像の特徴点が一致する場合、反転および非反転赤外線画像特徴記述子を使用して可視光画像特徴記述子を照合し、赤外線画像と可視光画像の位置合わせを実現します
。。。。。。。
要約する
この論文で説明するパイプラインは、異種画像レジストレーションを効果的に実現できます。
コードは後で CSDN リソースにアップロードされ、その後も継続的に更新されます。。。