全景图(Panorama)，或者说是图像拼接(Mosaic)技术是由于摄像器材的视角限制，不可能一次拍出很大图片而产生的。本文主要围绕拼接合成技术展开讨论，首先关注一下拼接的主要用途，再简单介绍拼接流程和核心问题、图像配准及方法、象素级图像融合及算法，最后重点以二维小波融合技术展开讨论研究。
一、拼接的主要用途
图像拼接技术可以解决由于相机等成像仪器的视角和大小的限制，不可能一次拍出很大图片而产生的问题。它利用计算机进行自动匹配，合成一幅宽角度图片，因而在实际使用中具有很广阔的用途。同时对它的研究也推动了和图像处理有关的算法的研究。
在军用图像特别是红外图像的采集和显示，医学图像的配准、拼接，三维虚拟场景的模拟，数字图片的压缩，航空、遥感图片的拼接等实际应用的方面有很大的价值。
例如在很多办公用扫描仪大多为A4或A3幅面的。如果使用这样的扫描仪去扫描输入一幅A0或更大的图(比如一幅海图)，就显得无能为力了。虽然现在有专用的大幅面滚筒扫描仪，但这种扫描仪属专用设备，价格昂贵，一般企事业单位、科研机构是无法承受的。如何用现有的设备实现巨幅图像的输入，是我们要研究、解决的重要课题。因为现在计算机的处理能力不断增强，而价格却在不断下降，用户也越来越多，用软件的方法解决这样的问题，就可以用A3或A4幅面的扫描仪分块扫描输入图像，存入计算机硬盘，再用一个图像拼接的程序将图像拼成原图，应用前景十分广阔。这种应用也同样适用于数码相机拍出的照片。
二、图像拼接技术流程和核心问题
拼接流程：
|
输入图象 |
|
预处理 |
|
统一坐标变换 |
|
图象配准 |
|
图象融合 |
|
全景拼接图 |
图像拼接技术的基本流程如图所示，首先获取待拼接的图像，然后经过预处理(滤波等)，再进行统一坐标变换，即将所有图像序列变换到统一的坐标系中，不同的变换方式对应不同的拼接流形，接着进行图像配准和图像融合，最终得到全景拼接图。其中，预处理和统一坐标变换两步不是必须的，可视具体情况进行选择。
核心问题：图像拼接技术主要包括两个关键环节，即图像配准和图像融合。
三、图像配准
图像配准即是寻找部分重叠的序列图像的重叠位置以及范围(也称图像对齐)。以两幅图像为例，即假设有两个矩形区域A和B，已知B中包含有一个区域A', A'和A是相同的模块，求B中才的位置。结合图像拼接技术，可以将现有的图像配准方法分为两大类:
(1)局部对齐技术
在传统的图像拼接和虚拟环境制作的应用领域，图像整合(Image Registration)技术中的相关性法和傅立叶变换均可适用。在景物表示领域，图像间存在平面投影变换或仿射变换，因此可以采用对应点映射和运动模型法，其中运动模型法的图像对齐技术是近年来发展迅速的一种方法。下面详细总结局部对齐技术的主要研究方法。
㈠、基于特征的图像对齐
特征法是一种常用的对齐方法，它基于图像的特征，并结合一定的评价函数寻找两幅图像中的重叠区域。典型的是基于图像几何特征的对齐方法，几何特征分为低级的特征，如边、角和高级特征如物体的识别、特征之间的关系。基于低级特征的对齐算法一般分为三步:首先过滤图像提取特征集，然后用这些特征集搜索两幅图像的大概对齐位置，最后对转换迭代求精.文〔61通过二维高斯模糊过滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。因为角模型提供了比坐标点更多的信息，文〔7〕中基于凡何角模型提出了图像对齐算法，文〔81中基于几何点特征优化匹配和文〔91中利用小波变换提取保留边(edge-preserving)的视觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者通过识别出的物体实现对齐。文〔10」利用特征图像关系图进行图像对齐。基于特征的图像对齐依赖特征的检测提取，如果特征不是很明显则可能会导致对齐失败。
㈡、基于频域的对齐法
该方法利用了傅立叶变换的良好性质，即函数平移，旋转和缩放在频率域都有其对称性。对于图像的平移，计算两幅图像功率谱的傅立叶变换可得一个脉冲函数，该函数仅在平移量处不为零。对于旋转，可使用极坐标方式表示，使图像的旋转转化为图像的平移，再用相同的方法计算图像间的旋转角度。假如图像之间不仅有平移还有旋转，则我们分两步进行计算:先计算旋转后计算平移。该方法对小平移量和旋转及缩放的图像配准非常适合。它有硬件支持和快速算法，因此计算速度快，同时能克服相关性噪音和依赖频率噪音，可适合多传感器和光源变化采集的图像。
㈢、运动模型法
I、主要的运动模型
目前很常用的一种方法就是运动模型法，它通过不同的景物世界模型和运动模型来建立两幅图像之间的关系，下面列出几种主要的运动模型。这里，m; (i=1,2,.,8)为投影变换参数，(x,y, l)和(x, y, w)分别为相邻两幅图像间对应点u和u的齐次坐标。第一种，基于平面景物的运动模型当景物为平面时，采用8参数透视模型
(2-1)
我们有时可以将它简化为6参数仿射模型:
第二种，基于定点环绕拍摄的运动模型
其中，[wx，wy，wz]为角速度，f为相机焦距。
第三种，基于平面加视差模型
传统的3D运动场是由旋转、平移和景物深度组成的参数运动场。然而对齐这些参数场的图像需要知道相机的内部参数，且除上述两种模型外，其它模型在对齐图像时会导致图像变形。我们所介绍的3D模型是由Kumar:等人提出的一种基于平面参数场的平面加视差模型。他们考虑景物都是位于一个实际平面上或一个虚拟平面上。
设两图像I0(x), I1(X)，用运动偏移量表示它们之间的关系为:
I1(X)=I0(X-U)，其中U=（Ｕx,Ｕy)，则它的参数模型如下:
其中，r=Ｈ／(Pz*T１), H:点到平面的垂直距离，T１:第一个相机到平面的距离，Ｔ２:两相机的平移向量，P２:深度，.f:相机焦距。
该模型较难用于任意景物图像的对齐，主要是因为不同深度景物的分割是个困难问题，所以一般用于平面景物上稀疏运动物体的检测。
2、求解模型参数的方法
评价函数一般采用SSD(sum of Square Diference)强度平方差:
参数最优值的求解方法主要有以下几种:
第一种，用牛顿高斯法或Levenberg-Marquart法进行迭代求解，该方法可靠稳定，精度高，不足之处需要人工输入初始对应点;
第二种，用一阶泰勒公式近似表示运动场，用最小二乘法求解，该方法不需迭代速度快，但精度不太高:
第三种，层次估计法，主要针对有几个像素偏差的图像，它包括以下四部分:
(1)建立两图像的金字塔;
(2)运动估计计算;
(3)图像Warping操作;
(4)由粗到细逐步求精参数。
第四种，准参数模型估计，主要针对平面+视差模型，它包括以下三部分:
(1)分割标记出图像中的平面区域;
(2)估计两图像的平面参数变换:
(3)用层次估计法估计视差向量和平移向量T<
第五种，渐进复杂模型求解，主要用于图像的偏差大于几个像素的平面投影
变换参数的估计，它包括以下三部分:
(1)用图像的一部分估计出平移参数:
(2)用平移参数作为仿射参数的初始估计，用图像的较大部分估计仿射参数;
(3)用仿射参数作为初始估计，用图像的全部来估计平面投影变换参数。
将渐进复杂模型与层次估计法结合起来可以减少运算量。该方法的使用是有一定条件的，即相机在对平面景物拍摄时，做近似平移运动且旋转角度要小;相机定点拍摄时，近似做Panning(绕Y轴)或Pitching(绕x轴)运动而绕其它轴的旋转要尽可能地小.
（包括：①基于特征的图像对齐；②基于频域的对齐法；③运动模型法）
(2)全局对齐技术
全局对齐技术是图像拼接的一种集成技术，构成一幅大的图像Mosaics需要将所有待拼接图像变换到图像序列中的一个参考帧上，而求解远离参考帧图像到参考帧变换的方法是连接它们之间的变换，但这样会导致累计误差，使得最终图像产生较大的偏差和重影。全局对齐技术就是解决上述问题的，现有的全局对齐技术包括以下四类:
一、多帧调整对齐
我们也可先使图像帧Ai变换到Aj，然后再使用Ｐj将其投影到参考帧A１:
Pi＝ＡijＰ（j <i)，联立所有这样的方程构成一个大型稀疏线性方程组。由于它是过定的，可用最小二乘法求解。该方法效果好，但工作量较大，需要求解额外的两重叠帧的精确对齐变换。
三、基于对应点的多帧调整技术
重叠图像上提取一组对应点，然后投影在参考帧上，理论上讲，这组对应点在参考帧上对应一个点。但由于累计误差原因，使它们不能重合。Shum H提出在参考帧上选取一点使之与各点的距离或角度最小作为新的对应点，然后用一组新点来调整参数变换，这样就可以减小多幅图像拼接的累计误差。
四、逐步扩大Mosaics方法
采用帧到Mosaics方法，即逐步扩大图像Mosaics，该方法是从图像集合中选取一个几何拓扑上的中间帧为参考帧，以中间帧到外围寻找与之重叠面积最大帧然后对齐成一个Mosaics记为Ｍi－１。，寻找一个帧fi，将fi与Ｍi－１,对齐成较大的Ｍi，该方法对齐质量高，但不足之处为其中间某帧对齐效果差将涉及以后帧的对齐效果，导致整个图像Mosaics的质量下降，其次需要搜索与之近邻的最大重叠帧。
四、图象融合
图像融合是以图像为研究对象的数据融合，是指在同一时间，将同一景物的不同波段或来自不同传感器的两个或两个以上的图像进行处理，形成一幅合成图像，以获取更多的关于目标信息的图像处理过程。图像融合也分为三级，即象素级，特征级和决策级。不同级的融合表明融合之前，传感器的数据已经被处理的程度。一个给定的数据融合系统，可能涉及所有三个级别数据的输入。象素级融合是直接在采集到的原始数据层上进行的融合。这是最低层次的融合。优点是能保持尽可能多的现场数据，提供细微信息。局限性在于：要处理的数据量大，实时性差；数据通信量大，抗干扰能力差。可以用于多源图像复合、图像分析和理解等领域。特征级融合先对来自传感器的原始信息进行特征提取，然后对特征信息进行综合分析和处理。决策级融合是一种高层次的融合，可以为指挥控制决策提供依据。决策级融合是三级融合的最终结果，是直接针对具体决策目标的，融合结果直接影响决策水平。下面介绍几种常见象素级图像融合算法：
①HIS 变换
HIS变换是融合多源遥感数据最常用的方法，可以实现不同空间分辨率的遥感图像之间的几何信息的叠加。它首先将RGB, 颜色空间的3波段的多光谱图像转化到HIS空间的3个量，即色调（H）、亮度（I）、饱和度（S）。亮度（I）代表空间信息，色调（H）代表光谱信息。然后将高空间分辨率图像进行对比度拉伸，使它和亮度分量（I）有相同的均值和方差；最后用拉伸后的高空间分辨率图像代替亮度分量（I），把它同色调（H）、饱和度（S）进行HIS 逆变换得到融合图像。
②PCA法
PCA变换即主成分变换的思想类似于HIS 变换，过程如下：首先用3个或3个以上波段数据求得图像间的相关系数矩阵，由相关系数矩阵计算特征值和特征向量，再求得各主分量图像；然后将高空间分辨率图像数据进行对比度拉伸，使之与第一主分量图像数据具有相同的均值和方差；最后用拉伸后的高空间分辨率图像代替第一主分量，将它同其它主分量经逆PCA变换得到融合的图像。用拉伸的高空间分辨率图像代替第一主分量的前提是要求二者接近相同，这是因为多波段光谱图像经PCA变换后，将各波段的空间信息集中到第一主分量中，而其光谱信息则保留在其它分量中。PCA融合法在保留原多光谱图像的光谱特征上优于HIS融合法，而且PCA法的光谱特征扭曲程度小。此外，PCA融合法不象HIS融合法只能同时使用3个波段多光谱图像进行融合，它可以对3个或3个以上波段的多光谱图像进行融合。
③HPF法
高通滤波法首先采用一个较小的空间高通滤波器对高空间分辨率图像滤波，滤波得到的结果保留了与空间信息有关的高频信息，滤掉了绝大部分的光谱信息。因此把高通滤波的结果按象素加到各多光谱图像数据中，经过这种处理就把高分辨率图像的空间信息同高光谱分辨率图像的光谱信息融合了。
HIS变换、PCA变换和HPF法的一个重要特征是在提高融合图像空间分辨率的同时，能在一定程度上减少对光谱信息的扭曲与改变。
④图像金字塔
图像金字塔最初是用来描述多分辨率图像分析并作为人类视觉里双目融合的一个模型。一个一般的图像金字塔是一个图像序列，其中的每个图像由低通滤波和它的前驱的二次抽样样本构成。由于取样，在每一级分解过程中，图像的大小在两个空间方向上被分成两半，这样就产生了一个多分辨率信号表示。图像金字塔方法导致一个带两个金字塔的信号表示：平滑金字塔包含平均化的象素值，差异金字塔包含象素差异，即边缘。因此差异金字塔可以被看作是输入图像的一个多分辨率边缘表示。
金字塔的大小是源图像的4/3，增大了数据量；在金字塔重建时，可能出现不稳定性，特别是当多源图像中存在明显差异区时，融合图像可能出现斑块。
⑤小波变换
一种类似于图像金字塔的信号分析方法是小波变换。主要的差别就是图像金字塔导致数据增大，而小波分解具有非冗余性，使得图像经小波分解后的数据总量不会变大。
小波变换可以将原始图像分解成一系列具有不同空间分辨率和频域特性的子空间，可以充分反映原始图像的局部变化特征。基于小波的融合的基本原则是在一个高分辨率空间数据的分解层次上合并低分辨率光谱数据，这可以通过置换、相加，或者相应系数的选择来实现。最后综合的融合分量生成一幅图像，它结合了低分辨率波段的光谱信息和较高全色波段的空间分辨率。
与传统的数据融合方法如PCA、HIS等相比，小波融合模型不仅能够针对输入图像的不同特征来合理选择小波基以及小波变换的次数，而且在融合操作时又可以根据实际需要来引入双方的细节信息，从而表现出更强的针对性和实用性，融合效果更好。另外，从实施过程的灵活性方面评价，HIS变换只能而且必须同时对三个波段进行融合操作，PCA 变换的输入图像必须有三个或三个以上，而小波方法则能够完成对单一波段或多个波段的融合运算。象素级图像融合常用的方法主要是HIS变换、PCA变换和小波变换等几种。
⑥其它图像融合技术
图像融合方法还包括证据理论法、神经网络法、专家系统法等，主要用于目标识别中的分类、统计等功能。
五、二维小波图象融合
在现实中，图像中的物体是以不同的尺度出现的。以一条边缘为例，它可能是一条从黑到白的陡峭边缘，也可能是一条跨越相当距离的缓变边缘。图像表示和分析中的多分辨率方法就是基于这种考虑。
Mallat在Burt和Adelson图像分解与重构金字塔算法（即高斯-拉普拉斯金字塔算法）的启发下，基于小波变换的多分辨率分析，提出了Mallat算法。
对于二维的情况，设Vj2(jεZ)是空间L2（R2）的一个可分离多分辨率分析，对每一个εZ,尺度函数系构成Vj2(jεZ)的规范正交基，小波函数 εZ2构成L2（R2）的规范正交基。则对于二维图像f(x,y) εVj2，可用它在Vj2空间的投影Ajf(x,y)表示：
小波变换等介于用低通滤器和高通滤波器对图像信号进行滤波处理。若Hr,Gr和Hc,Gc分别表示镜像共轭滤波器H和G分别作用在行和列上，这样小波变换可以简单表示如下：
其中H*，G*为H，G的共轭转置矩阵。
对于一幅二维图像，式（4）中算子Hr,Hc是一个低通滤波器，它过滤出图像的低频分量，因此Cj+1显示了Cj低频分量，即图像的低频部分。算子Hr,Gc相当于二维低通滤波器，它对列作平滑，检测行的差异，因此Dj1+1显示了Cj的垂直方向的高频分量，即图像的水平边缘。算子GrHc对行作平滑，即图像的垂直边缘。算子GrGc是两个方面的高频滤波，检测对角边缘。由此看出，对一幅影像进行小波变换，就是将其分解到不同频率下的不同特征域上。
把待融合的原始图像进行小波变换后，图像被分解到不同的频率区域上，图像的融合处理就要在每一频率段上分别采用不同的算法进行图像的融合。对于图像可以进行层小波变换，每一层的小波变换只需对上一层的小波变换后的低频分量进行变换。这样就形成了小波变换的金字塔结构。
由于图像融合的最高层需要对数据进行选取或均衡，因此最高层的低频部分所用的融合算子是融合图像的细节取舍的最关键一步，对图像高频算子的合理选取可以起到增强图像边缘、突出边缘的作用。一般，最高层的低频部分采用比较算子，高频部分采用简单的加权算子，其他各层均采用简单的加权算子。
2 小波特性分析与图像融合规则
2.1 融合方法的理论根据
通过数值分布统计，信源图像A和B经过小波分解后的子图像具有如下特性：（1）原图像中区域的数据变化幅度与在子图像中相应区域的数据变化幅度一致；（2）对于同一目标或物体的不同信源图像，其低频图像相应区域的数据值相同或相近，而高频子图像却有显著差别。小波变换的上述特性，为有效融合方法的选择提供了理论依据。
2.2 图像融合规则及融合因子
采用武汉市某地区的两幅TM遥感图像进行融合实验。设A、B分别为两幅原始图像，F为融合的图像。在图像融合过程中，融合规则及融合算子的选择是图像融合中至今未解决的问题。
（1） 融合规则一：对于边缘分量，即小波分解中的高频分量LHj,HLi,HHi，取两幅图像相应系数矩阵中对应项的最大值（i=1,2,3,...,N）；对于低频分量LL，由于这部分对恢复图像质量影响很大，采用：
F(j,k)=(A(j,k)+K×B(j,k)) ×α-|A(j,k)-K×B(j,k)| ×β计算。其中K、α、β为加权因子。前半部分A（j,k）+K×B(j,k) ×α表示取两幅图像的加权均值，影响融合后图像的能量，对融合后图像的高度起决定作用；后半部分|A(j,k)-K×B(j,k)| ×β表示取两幅图像的加权差值，包含两幅图像的模糊信息。因子K调节两幅图像的战优比例，使两幅亮度不同的图像达到均衡。随着α因子的增大，图像加亮；随着因子β增大，图像的边缘加强。对于不同的图像，适当调整K、α、β,可以消减模糊边缘并确保在消减时不过度地丧失边缘信息。对其他高频成分，取两组系数的最大值，可以得到最强的边缘信息，从而得到质量良好的输出图像。
（2） 融合规则二：分别计算两幅图像小波分解后的高频子图像上每个像素的局部平均梯度，以将像素的局部平均梯度作为准则，确定融合后的高频子图像上的像素值。设A(x,y)和(x,y)分别为可见光和红外图像，不同分辨率高频子图像分别为：
Ajk(x,y)和Bjk(x,y)(k=1,2,3;j为尺度参数)
不同分辨率的高频子图像的梯度图像为GAjk(x,y)和GBjk(x,y)，若GAjk(x,y)≥GBjk(x,y),则小波分解后的高频信息为：
六、总结
本文仅仅简单介绍了拼接的一些基本概念、流程、方法算法，算法方面也仅仅做了一部分验证性的实验，而算法追求的是鲁棒性越强、精确性越高、运算速度越快。随着科技的进步，图象拼接技术将有更好的发展，其应用将越来越广！
以图象woman为例在Matlab下做如下处理：
clear
load woman; %装入原图像
X1=X;map1=map;
subplot(221);image(X1);colormap(map1)
title('woman');
axis square %画出woman图像
load wbarb; %装入原图像
X2=X;map2=map;
for i=1:256
for j=1:256
if(X2(i,j)>100)
X2(i,j)=1.2*X2(i,j);
else
X2(i,j)=0.5*X2(i,j);
end
end
end
subplot(2,2,2);image(X2);colormap(map2)
title('wbarb');
axis square %画出wbarb图像
[c1,s1]=wavedec2(X1,2,'sym4');
sizec1=size(c1);
for i=1:sizec1(2)
c1(i)=1.2*c1(i);
end
[c2,s2]=wavedec2(X2,2,'sym4');
c=c1+c2;
c=0.5*c;
xx=waverec2(c,s1,'sym4');
subplot(223);image(xx);
title('融合图像');
axis square; %画出融合后的图像
结果分析：
一幅图像和他某一部分放大后的图像融合，融合后的图像给人一种朦朦胧胧梦幻般的感觉，对较深的背景部分则做了淡化处理。