基于支持向量机的无参考遥感图像质量评价方法_朱晓玲
多光谱和全色图像融合属于像素级图像融合，融合得到的多光谱图像具有多光谱图像的光谱分辨率和全色图像的空间分辨率，空间细节信息丰富，便于后续的应用处理。
TM波：
- 平行极化波（磁场只有横向分量）
- 不同波段能反射不同颜色。根据不同物质反射不同波段，能用于分类。
SAR（合成孔径雷达）：
- 利用合成孔径原理，实现高分辨率成像。
遥感图像的质量评价多在有参考信息基础上进行。
本文：建立主观评价库-SVM以及SVR评价打分（加权得到总评分）-将本文方法、信噪比和信息熵评价的结果回归到主观评价空间并对比-得出结论：客观的评价且优于SNR和信息熵评价方法，结果与人眼感受相符。
主观评价库建立
- 在一景中裁剪出28个特征场景图像，分别生成5个大小不同的高斯噪声，椒盐噪声和模糊，共2853=420幅图像；//（28张原始图像+420张失真图像）
- 对图像进行主观评价，计算DMOS值；（越大表示图像质量越差）
本文设计评价流程
- 用SVM方法对图像失真类型进行分类（5-折交叉验证）；用SVR方法对失真类型计算评价分，形成客观的质量评价分数；总评分是由失真图像所占比例加权得到。（分值越低，失真信息越少）
- 利用遥感图像统计特性定量描述图像，生成一个18维的矢量（3种尺度3个方向2个参数）；（尺度：3个尺度，方向：水平，垂直，对角；参数：方差，形状参数）
实验分析
- 遥感图像主观评价库：28张原始图像+420张失真图像及其对应的DMOS值
- 在库中选取20张不同图像+对应的300张失真图像用于SVM训练；
- 获得拟合曲线后，在库中选择另8张图像及其失真图像作为待评测图像，用本文方法得出客观评价分，并与DMOS值对比，同时将信噪比和信息熵结果进行对比。
性能比较
- 将本文方法、PSNR、信息熵非线性回归到DMOS空间后，利用logistic激活函数产生新的预测值，由客观评价分→主观评价，再分别计算三种方法预测值与主观DMOS的相关系数CC、均方根误差RMS、斯皮尔曼序列相关系数SROCC性能指标。
- 实验结果：实验数据能准确反映客观和主观评价。
-
优势：不需要参考图像（图像失真信息），能够准确对图像进行客观评价的同时能较好符合人眼视觉感受。
-
不足：针对三种失真类型，只能对含有一种失真的图像评价，无法评价含有两种及以上失真类型的图像。
基于CNN的无人机遥感影像质量评价
图像的采集与预处理
- 建立主观评价库：同一区域，5个不同时刻，统一分割为50个不相交的灰度场景。600600像素，共550=250幅。10名专家进行打分，将DMOS值回归到0-1之间。
- 预处理：遥感图像的失真主要由噪声和模糊引起，色彩引起的失真并不会造成很大影响。因此将图像转化为灰度图像输入，以减少计算参数和复杂度。
数据扩增
- 图像旋转：顺时针每5°一次正向裁剪，10:1:1分别生成训练集，验证集（用来调整和优化参数），测试集。
- 72（每5°生成一张图像）*250（分割图像）=18000张（总图像）//15000训练，1500验证，1500测试。
- 评价指标：LCC、SROCC。
CNN模型训练
为避免过拟合引入模型复杂性惩罚模型（model complexity penalty）度量统计学习算法的空间容量。
测试
- 在数据经过1000次迭代后，训练精度显著提高，训练损失减小，并均趋于平缓。
- 本文先经过10000次迭代，后调整权重和偏向，又迭代500000次后，对模型进行验证和测试。
- 进一步测试：与LeNet、AlexNet、SVR比较。
基于PCA和NSCT变换的遥感图像融合方法_纪峰
步骤：
1. 多光谱图像与全色图像分别进行配准，得到256*256高精度配准图像；
2. 多光谱图像MS：PCA变换后，将第一主成分进行NSCT变换，得到高频与低频分量；
3. 全色图像PAN：NSCT变换后，得到高频与低频分量；
4. 将MS与PAN的低频与高频分量分别加权融合，后经过NSCT逆变换；
5. 将逆变换后的新的“第一主成分”与原分解的其他成分进行逆PCA变换，得到融合后图像。
NSCT（参考文献5）
相比Contourlet变换少了上下采样的步骤，即根据不同方向滤波后获得与原图像同等大小的图像。
- 将图像利用NSPFB对图像滤波分解，会产生低频子带、各方向带通子带、各方向高频子带。再采用NSDFB对各方向的子带分解，得到不同尺度，以及不同子带方向的图像(系数)。
- NSPFB：每一级都是其上一级滤波器上采样得到的，即尺寸都是相同的。这样经过非采样塔式滤波后得到的图像与原图像都具有相同大小。
- NSDFB：用不同采样矩阵对滤波器进行上采样，对上一级方向分解后的子带滤波。
将得到的一个低频子带和多个环形高频子带分别以小波变换和标准差加权，得到融合图像。
- 低频融合规则：先小波变换改善图像质量，后加权平均或绝对值取大。//加权法可能丢失图像部分信息，绝对值法容易受到噪声影响。
- 高频融合规则：基于标准差加权融合。
图像评价-两组图像
- 主观评价：较NSCT法减小光谱失真，同时提高了空间分辨率。
- 客观：mean、STD(标准差)、IE(熵)、CC、SPD(光谱扭曲度)、DC(偏差指数)
总体上本文方法较NCST法有所改善，客观参数均优于其他方法。
基于优化字典学习的遥感图像融合方法_刘帆
图像库The CIFAR-10中100幅图像，
K-SVD(K-Means的扩展)
基于聚类理念，将用来表示图像的矩阵元素。
- 提取特征，对其进行聚类。
- 对于字典学习来说，就是寻找最接近且最简化稀疏矩阵的过程。
从过完备字典中找到稀疏矩阵，形成图像的自适应字典。
(==将图像试做多维矩阵，而求自适应字典可视作在字典中对其求极大线性无关组。)
- 通过该算法得到过完备字典；
- 利用K-Means法对图像块进行聚类，保留重复较少，包含更多细节的图像块；（保证样本多样性并提升训练速度）
- 与K-SVD算法对比，本文采用的算法（K-Means聚类后裁剪样本）训练误差降低
- 但使用K-SVD算法可能破坏稀疏矩阵系数结构，提出的SGK算法不仅没有破坏结构，还能逐原子更新，复杂度比K-SVD的低。
用全色图像块替换字典中原子，将图像信息融入字典元素，减少不必要信息。
、
OMP算法获得I以及全色图像稀疏系数
- 理论 详细原理参考
做法：在每次迭代过程中选择当前残留量最相关的原子对信号表示，并重新计算残留量(从测量向量中减去相关部分)，通过不断迭代矩阵元素，丢弃最不相关元素，并寻找新的元素填补空洞，直到满足条件停止迭代过程。
更新残留量（核心：利用字典原子不断逼近图像对其进行稀疏表示）
极大值稀疏系数（包含图像轮廓）采用平均值融合：(MS+PAN)/2
剩余稀疏系数（包含图像细节）采用加权融合：(ω1MS)+(ω2PAN) （其中ω为全色或多光谱图像标准差所占比例）
实验结果
- 使用Quickbird卫星road和city图像，以及Spot卫星river和fighter进行融合。
- 实验图像块大小8* 8，字典大小64* 256。
- 评价指标：全局融合误差ERGAS、均方根误差RASE、光谱角SAM、通用图像质量评价指标UIQI。