MATLABベースの赤外・可視光画像融合システム【評価指標付き】
1. 主題の紹介
赤外線技術は、人間が自然を理解し探索するための新しい現代ツールとして、生物学、医学、地質学、軍事偵察の分野でさまざまな国で広く使用されています。赤外線画像は物体の表面の温度分布を直接反映しますが、対象物の赤外線放射は非常に複雑であり、対象物の赤外線放射に影響を与える多くの要因があるため、赤外線熱画像の鮮明度ははるかに劣ります。目に見えるイメージに。可視光画像はシーン内の各物体の形状や構造をよく描写でき、輪郭表現も良好であるため、赤外光画像と可視光画像を統合することは非常に良い効果をもたらします。画像融合は、この効果を達成する効果的な方法です。融合された画像は信頼性が高く、ぼやけが少なく、理解しやすく、人間の視覚や、ソース画像のさらなる分析、理解、ターゲット検出、識別、追跡に適しています。画像融合は、融合された複数の画像に含まれる重複情報や補完情報を最大限に活用するもので、一般的な意味での画像強調とは異なり、コンピュータビジョンや画像理解の分野における新しい技術です。
この論文では,赤外線と可視光の画像融合アルゴリズムを研究した。コンピュータ画像処理手法を使用することにより、同じシーンの赤外線画像と可視光画像が融合されて、2 つのソース画像の情報がうまく含まれた 1 つの融合画像が得られます。この論文は主に、MATLABソフトウェアを使用した赤外光画像と可視光画像の処理と融合を研究し、対応するピクセルの大きい値、小さい値、平均値を取得し、領域エネルギーと領域コントラストを比較し、情報エントロピーを使用する融合方法を使用します。融合結果画像用、標準
差分、平均傾き、空間周波数の評価指標を分析し比較した。結果は、融合結果の画像が
可視光画像の鮮明な輪郭情報を保持するだけでなく、対象物の表面温度分布も表示します。
2. イメージフュージョンの概念
画像融合（Image Fusion）とは、複数のソースチャンネルから収集された同一対象の画像データを、画像処理やコンピュータ技術などを用いて各チャンネルの有益な情報を最大限に抽出し、最終的に高品質な画像を合成することです。画像情報の利用を改善し、コンピュータ解釈の精度と信頼性を向上させ、元の画像の空間解像度とスペクトル解像度を向上させ、監視を容易にします。画像融合の概略図を図 1-4 に示します。融合対象の画像が登録されており、ピクセルのビット幅が一致しており、2 つ以上のマルチソース画像の情報が合成および抽出されます。
冗長な情報
補足情報
図 1-4 画像融合の概念図
興味。登録されている同じピクセル ビット幅を持つ 2 つの（複数の）ソース画像を融合する場合、位置合わせが良好でなく、ピクセル ビット幅に一貫性がない場合、融合効果は良好ではありません。画像融合の主な目的は、複数の画像間の重複データを処理することで画像の信頼性を向上させることと、複数の画像間の補完情報を処理することで画像の鮮明さを向上させることです。
画像融合の主な目的は次のとおりです。
- 単一のセンサーで画像内の有用な情報の内容を増やし、画像の鮮明さを向上させ、画質を向上させます。
画像では見えない、またははっきりと見える特定の特徴。
(2) 画像の空間解像度を向上させ、スペクトル情報の内容を増やし、補足的な画像情報を取得して、検出、分類、理解、認識のパフォーマンスを向上させます。
（３）異なる時刻の画像シーケンスを融合することにより、シーンまたはターゲットの変化を検出する。
（４）複数の２次元画像を融合してステレオ視可能な３次元画像を生成し、３次元再構成やステレオ投影、計測等に利用できる。
(5) 他のセンサーからの画像を使用して、1 つのセンサー画像内の欠落または欠陥のある情報を置換または補います。
3. シミュレーション結果とソースコード
Matlab は画像処理の重要なツールであり、画像処理の速度と効率を向上させる一連のアルゴリズム関数をカプセル化しています。したがって、この論文の画像処理のプロセスでは、画像の融合に Matlab ツールボックスが使用されます。
この論文では、可視光画像と赤外線画像のセットを使用して、対応するピクセルの大小の値を取得し、対応するピクセルの平均値と加重平均値を取得し、領域ベースのエネルギーとコントラストの融合を行うことで画像融合を実現します。実験結果は以下のとおりであり、前節の評価方法に従って、融合画像の融合品質を客観的に評価しました (詳細は表 5-1 を参照)。
1. 対応するピクセルが最大値と小さな値を取る
1) 対応するピクセルは大きな値を取ります。
MATLAB シミュレーション プログラム:
clear all;
A=imread('p.jpg'); %读取灰度图像
B=imread('q.jpg'); %读取红外图像
A1=double(A);B2=double(B); %将图像转换为double类型
[x,y]=size(A);
for i=1:x
for j=1:y
if A(i,j)>B(i,j)
C(i,j)=A(i,j);
else C(i,j)=B(i,j);
end
end
end
subplot(2,2,1);imshow(A);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(B);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)对应像素取大值融合后图像')
融合結果:
図 5- 対応するピクセルの最大値を取得した後の画像
2) 対応するピクセルは小さい値を取ります。
clear all;
A=imread('p.jpg'); %读取灰度图像
B=imread('q.jpg'); %读取红外图像
A1=double(A);B2=double(B); %将图像转换为double类型
[x,y]=size(A);
for i=1:x
for j=1:y
if A1(i,j)>B2(i,j)
C(i,j)=B(i,j);
else C(i,j)=A(i,j);
end
end
end
subplot(2,2,1);imshow(A);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(B);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)对应像素取小值融合后图像')
融合結果:
図 5- 対応するピクセルの最小値を取得した後の融合画像
2. 対応するピクセルの平均値を取得します
MATLAB シミュレーション プログラム:
すべてクリア;
A=imread('p.jpg');
B=imread('q.jpg');
K=imadd(A,B,'double'); %2つの画像をdouble型に変換して加算
C1=imdivide(K,2);
サブプロット(2,2,1);imshow(A);
xlabel('a) 可視光画像')
サブプロット(2,2,2);imshow(B);
xlabel('b) 赤外線画像')
サブプロット(2,2,3);imshow(C,[]);
xlabel('c) はピクセルと融合された画像の平均値に対応します')
融合結果:
図 5 - 対応するピクセルの平均融合画像
3. 対応するピクセルの加重平均を取得します。
MATLAB シミュレーション プログラム:
clear all;
P1=imread('p.jpg'); %读取灰度图像
P2=imread('q.jpg'); %读取红外图像
L1=double(P1);L2=double(P2); %将图像转换为double类型
A=immultiply(L1,0.3);
subplot(2,2,1);imshow(P1);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(P2);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)对应像素加权平均融合后图像')
融合图像结果：
図 5 - 対応するピクセル加重平均融合画像
4. 地域エネルギー比較に基づく融合
１）地域最大のエネルギーの融合：
MATLAB シミュレーション プログラム:
clear all;
P1=imread('p.jpg'); %读取灰度图像
P2=imread('q.jpg'); %读取红外图像
L1=double(P1);L2=double(P2); %将图像转换为double类型
A=L1.^2;B=L2.^2;
[x,y]=size(P1);
for m=2:x-1
for n=2:y-1
a=m-1;b=m+1;c=n-1;d=n+1;
if sum(sum(A([a:b],[c:d])))>sum(sum(B([a:b],[c:d])));
C(m,n)=P1(m,n);
else C(m,n)=P2(m,n);
end
end
end
subplot(2,2,1);imshow(P1);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(P2);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)基于区域能量取大融合后图像')
融合结果：
図5- 地域のエネルギーに基づいて融合後の画像を撮影
- エリアエネルギーには小さな融合が必要です。
MATLAB シミュレーション プログラム:
clear all;
P1=imread('p.jpg'); %读取灰度图像
P2=imread('q.jpg'); %读取红外图像
L1=double(P1);L2=double(P2); %将图像转换为double类型
A=L1.^2;B=L2.^2;
[x,y]=size(P1);
C=P1;
for m=2:x-1
for n=2:y-1
a=m-1;b=m+1
if sum(sum(A([a:b],[c:d])))<sum(sum(B([a:b],[c:d])));
C(m,n)=P1(m,n);
else C(m,n)=P2(m,n);
end
end
end
subplot(2,2,1);imshow(P1);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(P2);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)基于区域能量取小融合后图像')
図5- 地域エネルギーに基づいて小型核融合画像を撮影
5. 地域コントラスト比較に基づく融合
MATLAB シミュレーション プログラム:
clear all;
P1=imread('p.jpg'); %读取灰度图像
P2=imread('q.jpg'); %读取红外图像
A=double(P1);B=double(P2); %将图像转换为double类型
[x,y]=size(P1);
C1=A;C2=B;
D1=minus(A,C1);D2=minus(B,C2); %A-C1
E1=rdivide(D1,C1);E2=rdivide(D2,C2);
F=A;
for m1=2:x-1
for n1=2:y-1
a=m1-1;b=m1+1;c=n1-1;d=n1+1;
if mean(mean(E1([a:b],[c:d])))>mean(mean(E2([a:b],[c:d])))
F(m1,n1)=P1(m1,n1);
else F(m1,n1)=P2(m1,n1);
end
end
end
subplot(2,2,1);imshow(P1);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(P2);
xlabel('b)红外图像')
subplot(2,2,3);imshow(F,[])
xlabel('c)基于区域对比度取大融合后图像')
融合结果：
図 5 - 領域コントラストに基づく融合後の画像
- 次の表は、さまざまな融合方法で得られた画像の評価結果を示しています。
表 5 - 融合結果の画像評価
| 画像融合方式 | 評価基準 | |||
| 情報エントロピー E | 標準偏差 std | 平均勾配 | 空間周波数 | |
| 対応するピクセルの最大値を取得します | 6.6948 | 29.5083 | 4.2927 | 9.1607 |
| 対応するピクセルは最小値を取る | 6.5223 | 23.8603 | 4.3085 | 8.4296 |
| 画像融合方式 | 評価基準 | |||
| 情報エントロピー E | 標準偏差 std | 平均勾配 | 空間周波数 | |
| 対応するピクセルの平均値を取得します | 6.2178 | 22.2666 | 3.2953 | 6.4550 |
| 対応画素加重平均 | 6.2819 | 21.4988 | 3.3771 | 6.6744 |
| エリアエネルギーに基づいて最大のものを取得します | 6.7375 | 29.9311 | 4.6958 | 11.4168 |
| 面積エネルギーに基づいて小型化 | 6.5445 | 24.3389 | 4.5668 | 9.5732 |
| エリアコントラストに基づく | 1.8530e-04 | 33.9577 | 16.2664 | 36.5167 |
融合結果画像と上記の表から、面積エネルギーに基づく融合方法が、対応するピクセルの融合方法よりも優れていることがわかります。大面積エネルギーに基づく融合法で得られる画質は最高であり、情報エントロピー、標準偏差、平均勾配、空間周波数の値が最も大きく、融合画像に含まれる情報が豊富であり、画像は鮮明です。
ピクセルフュージョンに相当する方法の中で、対応するピクセルの平均値を取る方法は、画質が最も悪く、含まれる情報が十分に豊富ではなく、画像がぼやけてしまいます。対応する画素の加重平均値をとる方法は標準偏差が最も小さく、色調が単一で均一であり、見るべき情報が少ない。大きい画素値を取ったものと小さい画素値を取ったものとで得られた融合画像は、画像全体が薄暗くなったり、画像全体が明るくなったり、エッジ情報がぼやけていたり、画像全体がよく把握できていません。コントラストが低いです。
領域コントラストに基づくフュージョン法で得られた画像はぼやけており、情報エントロピーが小さいため、プログラムとアルゴリズムを解析して作成する理由としては、計算過程でグレー値が 0 ～ 255 の範囲を超えていることが考えられます。計算された高周波成分の値が小さすぎる コントラスト値が大きすぎて無限大に近いため、画像が部分的に明るくなったり暗くなったりして、フュージョン画像の品質が十分ではありません。
上記の実験結果の融合画像を元の可視光画像および赤外画像と比較すると、融合結果画像が可視光画像のエッジ特徴を備えているだけでなく、温度分布情報も反映していることがわかります。光画像特性と赤外画像特性の効果的な組み合わせを実現し、対象物体や情景に含まれる情報をより包括的かつ正確に表現し、物標認識などの実用化が可能になります。監視も十分に実現できます。