摘 要：
红外与可见光图像融合是异类传感器信息融合的重要分支,在军事、遥感等领域有着重要的研究意义。本文从红外与可见光图像的特点出发,介绍了两种图像融合的现状,归纳了常用的基于多尺度分析的图像融合方法,简要阐述了红外与可见光图像融合规则和评价指标,为多尺度分析技术在图像融合领域的发展提供了清晰的方向。
引 言：
图像融合旨在结合不同传感器的优点,把同时获取的多幅相同目标图像融合在一起,输出一幅能够更好的被计算机分析处理的图像。目前,图像融合技术在军事、遥感、医学等领域广泛应用。红外与可见光图像融合是一个研究较多的方向。红外与可见光图像融合属于不同类型传感器图像融合。两种传感器成像机理不同,包含的场景信息也不相同:可见光图像体现不同物体对可见光反射能力,纹理细节丰富,但比较依赖光照,一旦目标场景能见度低或者有遮挡,将无法获取有效信息;红外图像表征目标场景热辐射情况,不受外界复杂光照条件影响,但比较依赖光照,一旦目标场景能见度低或者有遮挡,将无法获取有效信息;红外图像表征目标场景热辐射情况,不受外界复杂光照条件影响,形成目标信息丰富的融合图像。
根据红外与可见光图像融合过程中处理域的不同,分为空间域法和变换域法两类空间域法直接对两种图像的像素进行操作计算,实时性强,但不能充分考虑像素点之间的关联信息,纹理细节丢失严重;变换域法从图像的稀疏表示入手,具有频谱和空间一致性,是目前图像融合的主流研究方向。
1 多尺度分析方法
基于多尺度分析的图像融合基本思路是对红外和可见光两种源图像分别进行相同方法的多尺度分解,然后根据一定的融合规则对分解后的高频和低频分量系数做融合运算,最后经过多尺度逆变换得到融合图像。目前常见的多尺度分析方法有小波变换、非下采样Contourlet变换、Shearlet变换、Tetrolet变换等,这些基于变换域的融合方法,已经成为红外与可见光图像融合的发展方向。
1.1 小波变换
小波变换具有优良的可变时频域分辨率、方向选择性和分析数据量小等特性,在图像融合过程中,首先对源图像进行小波分解,获得低频图像信息,以及垂直、水平和对角线三个方向子图像信息,在不同频率分量使用不同融合规则创建图像,通过小波逆变换重构融合图像。小波变换能够很好的反映图像点奇异性,但不能最优表达图像的边界和线特征信息,因此融合图像有明显的边缘模糊和分块现象。
1.2 非下采样Contourlet变换
非下采样Contourlet变换是一种通过迭代方式获得多方向、多分辨率和各向异性的表示方法,它由非下采样塔型滤波器和非下采样方向滤波器组成,前者将图像分解成低频和高频子带两种图像,后者对高频子图像进行方向滤波,在分解和重构的过程中没有下采样过程,具有平移不变的特性,很好的消除了伪吉布斯效应,保护了图像的边缘纹理和轮廓结构信息。
1.3 Shearlet变换
Shearlet 变换通过对基本函数进行平移、剪切和伸缩等仿射变换构造具有各向异性的基函数,其支撑区间形成能够随着尺度变化的楔形结构,因此Shearlet 变换不再受基函数尺寸和方向数量的约束,能够获得更多的方向信息,图像边缘细节定位能力较好,同时与非下采样Contourlet变换的方向滤波器组逆合成方式不同,Shearlet 变换的图像重构只是进行相加处理,算法效率得到提高。
1.4 Tetrolet变换
Tetrolet变换是一种基于四个拼版概念的Haar小波变换,能够根据源图像自身的几何结构,自适应选择最优的模板进行稀疏处理,获取更优的图像质量。其分解过程是,首先将源图像分成若干个4×4大小的图像块,对每个块进行Tetrolet变换得到4个低频系数和12个高频系数,再将低频系数按照一定规则排列生成与原始图像大小相等的新图像,对该图像继续进行4×4分块操作,并进行Tetrolet变换,直至完成融合要求的分解级数。Tetrolet变换具有更多的方向性和选择性,更适合图像本身结构,图像空间细节和边缘纹理信息保留较好。
2 融合规则
通过多尺度分析方法进行图像融合,被分解的两种图像会生成不同的图像系数矩阵,高频系数含有图像的特征细节信息,低频系数含有图像的轮廓结构信息,对这两种系数进行相关运算,需要选择合适的融合规则,能够在捕捉到每种图像特有信息的同时一并保留相应通用信息。融合规则直接影响图像融合质量和效果,目前主要分为基于像素和基于区域两类方法。
2.1 基于像素的方法
该方法根据图像像素点矩阵排列的特点,对每种源图像相同位置的像素点进行对比,选取绝对值最大或者加权平均值作为最终融合图像对应位置的像素值。这种方法操作简单,实现容易,融合速度快,但忽略了像素点之间的关联性,缺少单像素点与周边像素点间的相关考虑,不能很好的描述图像局部特征,同时,针对红外图像与可见光图像灰度值差异较大的特点,这种基于像素的融合规则,效果一般。
2.2 基于区域的方法
该方法把每个像素点都当成区域内的一部分,通过类似区域能量、区域方差等方法,寻找图像区域特征,将这些特征按照一定的标准进行对比,并把最终符合要求的区域作为融合图像区域。不同的区域特征方法对图像轮廓及纹理信息的体现不同,比如区域梯度值大,说明这个区域图像内容变化较大;区域能量值大,说明这个区域图像细节信息较多。目前红外与可见光图像的融合多是基于区域融合规则的方法进行处理。
3 融合性能评价
对图像融合的效果进行评价可以评定融合算法的优劣,融合图像评价是红外与可见光图像融合体系的重要组成部分,目前常用的评价方法为主观评价和客观评价法。主观评价方法是利用人眼对融合图像进行直接观察,定性评判图像质量。观察人员根据图像失真、细节显示等既定评价规则,利用经验或者主观偏好,给出评价意见。这种方法简单直接,对空间、形状等信息具有较好辨识力,可以判断边缘是否完整、形状是否扭曲等问题,比较适合红外和可见光图像融合评价。但这种方法有很强的主观性,特别在图像差异较小时,结论可信度不高。因此需要结合客观评价法定量分析融合质量,判别融合效果是否达标,保证融合结果的科学性。
客观评价方法以信息论、图像梯度和人类视觉等理论为基础,根据不同条件,主要分为以下三类评价指标:(1)依据源图像信息在融合图像中的保留程度进行评价的方法,主要有信息熵、交叉熵、交互信息量等。(2)依据融合图像空间细节信息显示效果进行评价的方法,主要有平均梯度、空间频率等。(3)依据融合图像与源图像光谱信息偏差程度进行评价的方法,主要有相关系数、偏差指数等。