PCA主成分分解法
1.概述
1.1研究背景
图像信息的融合是信息融合的重要组成部分，多传感器图像信息的融合是将不同传感器获取的同一对应场景的不同图像数据进行空间配准，在此基础上将有机结合成新的图像，以弥补单一信息源的不足。目前图像融合算法分成两类：非多尺度分解和多尺度分解。
非多尺度分解（Multiscale-Analysisi）： 又被称为多分辨率分析，基本思想是把平方可积空间分解为一串具有不同分辨率的子空间序列。多分辨率或多尺度分析的基本思想：函数f（x），可以看作是某个渐渐逼近的极限，每层逼近是采用某个低通滤波函数对f（x）实施平滑后的结果。当逐层逼近的低通滤波函数也进行相应地逐层伸缩，即采用不同的分辨率或尺度来逐层逼近f（x）。
非多尺度分解： 其融合算法不对原始图像进行多尺度分解，而直接对源图像进行加权后得到融合图像。
1.2研究问题
在图像融合时，非多尺度分解方法常和多尺度分解方法融合起来。非多尺度分解算法融合后图像存在对比度下降明显，信息损失大等缺点，因此要改善非多尺度算法。
1.3研究意义
主成分分解法的图像融合技术是用主成分分解法去除源图像中的冗余信息，获得各源图像的主成分份量以及相应的特征值，根据源图像对应的特征值大小确定相应的加权系数，最后得到融合后的图像。该方法优于其他非多尺度融合方法。
2.方法（理论）
2.1模型框架（图表展现）
F为融合后图像，Si为待融合的源图像，根据ω取值的不同可分为像素平均法、像素最小（最大）发、区域能量加权平均法等。本文采用PCA法确定加权系数ωi的取值。
PS：
像素极大/小值： 首先读入两张图像，遍历所有的像素值；比较像素值的大小，选择大的或小的一方存入第三个矩阵当中；对所有像素都比较过后，生成的新矩阵就是我们所需要的融合图像。
区域能量： 能量对于图像而言就是灰度值，灰度值越高能量就越大对应的像素点就是“更白”。在8位的灰度图中，0代表黑色，255代表白色。
如果计算一整个图像的能量，那么就将每一个像素点的灰度值拿出来平方，然后把它们加起来。如果计算一个区域的能量，就是将区域内的像素点灰度值平方累加。
加权系数ωi=1/N 时，称为像素平均法；加权系数ωi取0或1时，称为像素最小（最大融合算法）；也可以根据区域能量的不同确定加权系数。
2.2算法描述
计算最终融合图像F
ω是加权系数，ξ是特征向量，λ是特征值
对特征向量进行加权求和，权值ω和特征值λ有关，反映的是当前特征值在整个能量场中占的比重
2.2.1为什么用协方差矩阵而不用原矩阵
数学角度： 协方差矩阵是方阵，而原本是矩阵，只有方阵才能计算出特征值和特征向量
物理角度：
参考：https://blog.csdn.net/a10767891/article/details/80288463
求出样本协方差矩阵C的特征向量矩阵。PCA是降维的，降维就是指通过矩阵乘法运算后，把原来的矩阵维度减少。维数减少可以减少算法计算量，
PCA算法的优化目标：
① 降维后各维度的方差尽可能大
② 不同维度之间的相关性为0
同一元素的协方差就表示该元素的方差，不同元素之间的协方差就表示它们的相关性
2.4优点分析
1.使得数据集更易使用。
2.去除噪声。
3.使得结果容易理解。
4.完全无参数限制。
2.5缺点分析
1.在非高斯分布情况下，PCA方法得出的主元可能并不是最优的。
2.如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。
3.特征值分解有一定局限性，比如变换的矩阵必须是方阵。
3.实验
3.1实验数据
3.2实验条件
图 1(a)是关于道路,树木和土地的中波红外图像, 其中道路没有植被覆盖, 温度略高, 反映在图片中道路比较亮。
图 1(b)是同一场景的可见光图像, 道路、树木和天地依稀可见, 但是亮度区别不是很大。
3.3实验结果与分析
从融合后图像可以看出, 两源图信息的互补性得到了充分的体现: 如在原中波红外图像中看不见的一些目标, 如树木和田地在融合后图像中呈现出来, 而在可见光中分辨不清晰的道路在融合图像中得到了增强。
比较起来图 (d)融合质量最差, 图 ©和图 (e) 融合图像比较接近, 但图 1©对比度损失较大, 图片明显偏暗。（说明其他非多尺度分解信息损失大，而PCA方法可以保留主要信息，达到除噪效果）
加权平均法图像融合算法的原理：对原图像的像素值直接取相同的权值，然后进行加权平均得到融合图像的像素值，举例说比如要融合两幅图像A，B，那它们的融合后图像的像素值就是A50%+B50%，
区域能量加权： 取图像3*3的区域去乘以权重，然后加起来作为中心点像素的区域能量。这样遍历整个图像之后，就可以得到和原图像同大小的区域能量矩阵了。
3.4实验结果与分析
4.总结与展望
4.1总结
PCA算法从源图中获得的信息量最丰富，融合效果最好，去噪效果最好。
4.2优点
1.降维，并且在降维后保存了原数据中的主要信息，从而使数据更易于处理。
2.融合后的图片噪声相对较少，信息损失少。
3.完全无参数限制。
4.尤其在波段数较多的情况下，融合后的图像光谱特性保持好。
4.3缺点
1.如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。
2.特征值分解有一定局限性，比如变换的矩阵必须是方阵。
3.需要求矩阵的特殊值和特征向量，计算量大。
4.4提出改进方案
- 主成分分析算法在波段数较多的情况下，融合后的图像光谱特性保持较好，前几个主成分包含绝大部分信息；IHS变换融合方法可以提高图像的分辨率，进行锐化，可以解决红外+可见光融合等问题。因此采用IHS/PCA的方法。用IHS变换处理红外图像，PCA处理可见光图像，用IHS变换后的I分量与第一主成分进行替换，最后进行PCA逆变换得到融合图像。可以有效降低计算量。
参考论文：基于IHS变换和主成分分析变换的图像融合_赵晓雷
IHS（Intensity，Hue，Saturation）分别表示亮度或强度（1）、色调（H）和饱和度（S），它们是从人眼中认识颜色的三个特征。 - 通常将非多尺度分解和多尺度分解结合起来。
高频： 轮廓，一个对象的轮廓处于两个物体之间，是物体交界的地方，是跳变的
低频： 色块，变化缓慢的区域
参考：基于改进的 IHS、PCA 和小波变换的遥感图像融合算法_王 瀛， 余岚旭，王春喜，王泽浩 - 针对红外图像和可见光图像，先用区域能量取最大值法将红外图像能量高的区域选中，再用主成分分解法对图像进行融合，解决的是：用户对观测对象有一定的先验知识，可以进行干预。（不太对）区域能量是计算每个像素的平方，并不是先验知识进行干预
参考论文：应用主成分分解 (PCA) 法的图像融合技术_武汉科技大学 王文武