現在、画像融合のレベルに応じて、画像融合アルゴリズムはピクセルレベルの画像融合、特徴レベルの画像融合、および決定レベルの画像融合に分類されます。ピクセルレベルの画像融合処理は、主に画像データを画像ピクセルレベルで演算および処理するものであり、画像融合の基本レベルに属します。利点は、ソース画像の元のデータをより多く保持できること、および他のフュージョン レベルと比較して詳細がより豊富になり、ターゲットの空間位置が比較的正確になることです。ただし、ポイントツーポイント画像補正、ノイズ低減、レジストレーションなどの厳密な画像前処理をフュージョン前にフュージョン ソース画像に対して実行する必要があります。そうしないと、その後のフュージョン効果に重大な影響が生じます。これには主に主成分分析 (PCA)、パルス結合ニューラル ネットワーク (PCNN)、およびその他のアルゴリズムが含まれます。特徴レベル画像融合は中間レベル融合に属し、各センサーが持つ既存の撮像特性に基づいて、各画像のエッジやテクスチャなどの有利な特徴情報を抽出する手法です。主にファジー クラスタリングやサポート ベクター クラスタリングなどのアルゴリズムが含まれます。デシジョンレベルフュージョンはフュージョンの最上位レベルに属し、特徴レベルフュージョンと比較して、画像のターゲット特徴を抽出した後、ソース画像を処理し、特徴認識、デシジョン分類などを進め、デシジョンを結合します。各ソース画像の情報を結合して共同推論を実行し、推論結果を取得します。主にサポート ベクター マシン、ニューラル ネットワーク、その他のアルゴリズムが含まれており、ディシジョン レベル フュージョンは高度な画像融合技術であると同時に、比較的高いデータ品質が要求され、アルゴリズムの複雑性は非常に高いです。
1.1 従来の画像融合手法に基づく
1.1.1 最大値(Max)/最小値(Min)による画像融合方法
融合する2つの画像AとBが同じサイズで、両方ともM×Nであると仮定すると、ピクセルの階調値に基づいて選択された大きい画像の融合画像Fは次のように表すことができます。
ピクセルのグレー値の選択に基づく画像融合方法は次のように表すことができます。
つまり、融合プロセス中に、ソース画像 A (i, j) と B (i, j) の対応する位置にあるピクセルのグレー値の大きさを比較し、大きい (または小さい) ピクセルを選択します。 ) 融合画像 F(i,j) のピクセルとしてのグレー値 (おそらく画像 A または B から)。この融合方法は、融合に参加するソース画像内のグレー値が大きいまたは小さいピクセルを融合ピクセルとして選択するだけであり、この融合方法の適用可能な場面は非常に限られています。
1.1.2 画素加重平均による画像融合法（Average）
ピクセル加重平均法は、画像融合における最も単純な方法の 1 つであり、2 つの画像自体のグレー情報に従って、同じピクセル点で 2 つの画像のグレー値に重みが割り当てられます。融合イメージは、2 つのイメージのグレースケール値の加重合計です。カラー画像の場合は、上記の操作を 3 つのチャネルに対して繰り返して、3 つのチャネルのフュージョン グレースケールを取得します。融合する 2 つの画像 A と B が同じサイズで、両方とも M×N であると仮定すると、融合された画像 F は次のように表すことができます。
ここで、 は画像 A と B の重みであり、 を満たします。ピクセル加重平均に基づく画像融合方法は比較的単純であり、動作速度は速いですが、融合プロセスではピクセルのグレースケールのみが考慮され、ピクセルの位置やその他の要因は無視されます。したがって、生成された融合画像は元の画像の詳細を十分に保持できず、有用な情報が失われ、冗長な情報が増加します。視覚効果が低く、画像を区別するのが困難です。
1.2 マルチスケールベースの画像融合手法
画像ピラミッド [59] 表現方法は、マルチスケール、マルチ解像度表現方法であり、画像ピラミッド表現方法は、異なるスケールの画像のスタックとして想像できます。画像のピラミッド分解は、画像内のさまざまなスケールの特徴を分析するために使用できます [30]。たとえば、低解像度の画像を使用して大規模なオブジェクトを分析したり、エッジの詳細などの小規模な情報を分析したりできます。高解像度の画像を使用して分析することができます。ピラミッド構築の原理によれば、ピラミッド変換に基づく方法は、ガウス ピラミッド、ラプラシアン ピラミッド、コントラスト ピラミッドなどに分類できます [40]。これらの変換方法はすべてガウス ピラミッドに基づいています。タイプ画像シーケンス、画像の各レベルこのシーケンスでは、前のレベルの画像をローパス フィルター処理してから、行と列を 1 つおきにダウンサンプリングすることによって取得されます。そのため、片側のサイズはレイヤーごとに半分になり、各レイヤーは前のレイヤーのサイズの 1/4 になります。他のピラミッド変換は、ガウス ピラミッド分解結果に基づいてさらに操作することによって得られます。ピラミッド変換に基づく方法は単純ですが、変換プロセスにアップ/ダウン サンプリング操作があるため、平行移動不変性がありません。すべて 画像ピラミッド変換は画像の冗長な分解です。つまり、分解結果では、隣接するスケール間のデータが相関しており冗長であるため、融合結果にブロック アーティファクトが発生する可能性があります。
1.2.1 ラプラシアン ピラミッド
1. ラプラシアン ピラミッド画像分解
ソース画像を 1 行おき、1 列ごとにダウンサンプリングし、得られた画像に対してガウス ウィンドウ関数を使用して畳み込み演算を実行する上記の操作を繰り返して、段階的に解像度が低下する一連の解像度を形成しますそして、ローパスフィルタリング後の塔層、これらの塔層によって形成されるピラミッドがガウスピラミッド（Gaussian Pyramid、GP）である[18]。
ガウス ピラミッドの操作中、画像が畳み込みおよびダウンサンプリング操作を受けた後、一部の高周波の詳細情報が失われます。これらの高周波情報を記述するために、人々はラプラシアン ピラミッド (Laplacian Pyramid、LP) を定義します。ガウスピラミッドの各層画像からアップサンプリングとガウス畳み込み後の予測画像を減算し、LP分解画像である一連の差分画像を取得します。下の図 1 は、ラプラシアン ピラミッド分解画像の構築プロセスを示しています。
図 1 ラプラシアン ピラミッド画像の分解プロセス
ピラミッドの下部画像、つまり予測残差から上部の非サンプリング画像を再構成すると、画像が最大限に復元されます。表示されているのは、L で示される一連の画像シーケンスです。たった今：
その中には、ガウス ピラミッドやラプラス ピラミッドがあります。上記のプロセスを繰り返して一連の画像を取得します。このステップはラプラシアン ピラミッドの構築プロセスです。
2. ラプラシアン ピラミッド画像の融合 融合
ラプラシアン ピラミッド画像は、取得した各画像のラプラシアン ピラミッドと、対応するレベルの画像を融合することで得られます。具体的な融合ルールは次のとおりです。概略図を図 2 に示します。
図 2 ラプラシアン ピラミッドの融合図
3. ラプラシアン ピラミッド画像の再構成 融合
されたラプラシアン ピラミッドでは、最上層から開始し、上から下まで再帰的に式に従って対応するガウス ピラミッドを復元し、最終的に元の画像 G0 を取得できます。最上位から補間を利用する方法です。
図 3 は赤外画像と可視光画像のラプラシアン ピラミッド画像を整列させて融合する過程を示しており、図 3(c) と図 3(d) はそれぞれ元の赤外画像と可視光画像の 3 層ラプラシアンです。ピラミッドの分解結果は、IRとVIのLP分解の対応する層に最大値融合法を適用し、融合後のLPピラミッドの各層の画像を取得します。図３（ｅ）に示すように、融合ラプラシアンピラミッドを再構成することにより、可視光画像と赤外画像との融合画像Ｒが得られる。
(a) IR 光源画像
(c) 可視光画像
(c) 再構成融合画像
図 3 ラプラシアン ピラミッド画像の融合例
3.2.2 コントラスト ピラミッド画像の融合方法
2.1.3 項の画像コントラスト ピラミッドで説明したとおり、コントラストに基づいてピラミッド画像融合法 [19] では、ラプラシアン ピラミッドと同様に、対応する融合ルールがベースに追加されます。つまり、取得された各画像のコントラスト ピラミッドと対応するレベルの画像を融合することで、融合された画像を取得できます。コントラスト ピラミッド画像の場合、特定の融合ルールには、大、小、加重平均などが含まれます。融合アルゴリズムのフローを以下の図 4 に示します。
図4 コントラストピラミッドの融合過程
1.3 変換領域に基づく画像融合手法
変換ドメインに基づく画像融合手法には、通常、マルチスケール融合の考え方も含まれており、一般に、そのような手法には、図 1 に示すように、主に次の 3 つのステップが含まれます。まず、赤外線ソース画像と可視ソース画像が低周波サブバンドと高周波サブバンドに分解され、その後、さまざまな戦略を使用して低周波サブバンドと高周波サブバンドが処理されます。次に、融合ルールが低周波サブバンドと高周波サブバンドに対してそれぞれ設計され、バンドが融合され、最後に逆変換を使用して最終的な融合画像が得られます。異なる画像融合方法では、ウェーブレット変換や NSST などの異なるマルチスケール変換が使用されます。
図1 画像分解に基づく異種画像融合処理
1.3.1 ウェーブレット変換による画像融合手法
近年、画像のマルチスケール分解・融合手法の中でも、ウェーブレット変換はその多重解像度と時間・周波数定位特性により画像融合に広く用いられている。ウェーブレット変換フュージョンの最初のステップは、有限長で平均値が 0 の波形であるウェーブレット基底関数を構築することです。画像処理中に、さまざまな信号に従ってさまざまなウェーブレットを設定できます。フーリエ変換は主に周期的な信号を扱うのに対し、ウェーブレット変換は非周期的で急峻な信号を扱うのに適していることはよく知られています。ウェーブレット信号を画像融合に適用すると、フーリエ信号よりも計算時間が短縮され、融合が高速になります。
ウェーブレット基底関数は、式 (2-6) の方程式を満たします。
これは、 上の正規直交基底を構成するように拡張または変換できます。ウェーブレット関数には 2 つのパラメーター a と b があり、これら 2 つのパラメーターはウェーブレットのスケーリングと変換を制御します。連続ウェーブレット変換は関数とウェーブレット ベースの内積と見なすことができます。
ウェーブレットベースの融合ステップでは、画像登録後にウェーブレット変換によって画像を分解し、異なるレベルと方向の画像に対して異なる処理方法を採用し、画像逆変換を実行して融合画像を取得します。分解プロセスでは、式 (2-7) を利用して、画像とウェーブレット関数を内積します。各ウェーブレット分解では、イメージを 4 つのサブイメージ (1 つの低周波イメージと 3 つの高周波イメージ) に分解できます。ウェーブレット融合は、画像の周波数ごとに異なる処理方法が使用されるため、画像ノイズの除去に優れており、優れたノイズ低減機能を備えています。
1.3.2 NSST画像に基づく画像融合手法
K.Guo と G.Easley によって提案されたせん断波 (Shearlet) 変換は、単純な数学的構造を持ち、平行移動、伸長、回転などの一連の操作を実行する関数から構成される基底関数です。スケーリング、移動、剪断など。シャーレット変換は、拡張アフィン システムを通じて構築されます。Shearlet 変換は Gowell 信号への最良の近似を達成でき、2 次元信号のすべての特異点を検出できます。シャーレット変換は、多重解像度、多重方向、局所性などの優れた特性を依然として備えています。
- シャーレット変換理論
シャーレット変換は、ウェーブレット変換では最適な近似を達成できないという欠点を克服する、マルチスケール幾何学解析ツールです。ウェーブレット理論に基づいて,アフィンシステムを使用してせん断波を構築した。次元 n = 2 の場合、その式は次のようになります。
このうち、 は対応するスケール変換を表し、 は対応する幾何変換を表し、いずれも 2×2 の可逆行列であり、次式を満たす Parseval 型のタイトフレームがあれば、それが合成ウェーブレットです。
それから
;
ここで、a はスケール変数、s は方向変数、通常は a = 4、s = 1 をとり、対空システムは行列 A と B によって決定されるせん断波変換です。
ために
その中で
手に入るのは、
そして、のために
その中で
、形成された部品の1つ。のサポート条件に従って、の周波数領域サポート セットが
利用可能であり、その構造を図 1 に示します。
(a) Shearlet 周波数領域セグメンテーション図
(b) 周波数領域サポート図
図 1 Shearlet 周波数領域サポート図と周波数領域サポート セット サイズ
get setにサポート セットがあるため、次のようになります。
つまり、
上の Parseval フレームワークです。同様に、D1 が垂直円錐を表すParseval フレームワーク
を構築できます。
と仮定し
、
それらの合計が
以前に設定されているとすると、セットを取得できます
上の式は
Parseval フレームワーク
であり、
は D の特性関数です。
Shearlet の数学的特性: (1) Shearlet 変換は空間領域と周波数領域の両方で優れた局所特性を持っています; (2) Shearlet 変換はマルチスケールを持っています; (3) Shearlet 変換は良好な方向性、シャーレット変換方向の数を持っていますスケールと複数の関係がある; (4) Shearlet 変換の最適なスパース表現。
シャーレット変換のプロセスは可逆変換であり、分解と再構成の 2 つのステップに分かれています。まず、ウェーブレット合成理論によってマルチスケール分解を実行し、元の画像を低周波サブバンドといくつかの高周波サブバンドに分解し、次に窓関数を使用して画像の方向を分解します。高周波サブバンド。最後に、処理された高周波画像と低周波画像が逆シャーレット変換を使用して再構成されます。
2. 非サブサンプリング シャーレット変換
シャーレット変換は、画像処理の分野で後期に提案された変換領域手法です。上述のシャーレット変換の数学的特性により、最高のスパース表現能力が実現され、演算効率が高くなります。その多方向性は無限の方向にまで及びます。ただし、シャーレット変換には変換不変性がないため、非サブサンプル シャーレット変換 (Non-subsampled Sheartlet Transform、NSST) が研究者によって提案されました。
NSST 変換は、Shearlet 変換のダウンサンプリング プロセスを削除した新しい変換ドメイン手法であり、Shearlet 変換の利点に加えて、変換不変性の利点も追加します。画像のエッジやテクスチャ情報など、特に目立つ部分の画像を扱う手法です。非サブサンプリング シャーレット変換は、マルチスケール分解と方向位置特定の 2 つのステップに分割されます。2 つの部分は別々に説明されます。
(1) 画像のマルチスケール分解。非サブサンプリング ピラミッド フィルター (NSP) を使用して元の画像を分解し、処理後にローパス サブバンド画像とバンドパス サブバンド画像を取得します。
図 1 NSP ノンサブサンプリングフィルタバンクの構造
(2) 画像の方向定位。方向定位は、取得されたバンドパス サブバンド画像に対して実行され、使用される方法は改良されたシャーレット フィルター (シャーレット フィルター、SF) です。標準のシャーレット フィルターにはダウンサンプリング操作が含まれていますが、改良されたシャーレット フィルターではダウンサンプリング操作が削除され、変換の不変性が得られます。具体的な実装プロセスは次のとおりです: 1. 標準 SF を擬似偏波ネットワーク システムからデカルト座標系にマッピングします; 2. 「マイヤー」ウィンドウ関数を構築して、複数のスケールで画像を分解し、異なる指向性サブバンド係数を取得します。 3. 各方向のサブバンド係数を畳み込み演算し、最終的に NSST 係数を取得します。
図 2 NSST 画像の分解
MATLAB コード リンク: NSCT 用の MATLAB コード
他のコードは後で追加します