超分辨率重建基础知识总结

超分辨率是计算机视觉的一个经典应用。SR是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像（说白了就是提高分辨率），在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。
本博文主要介绍SISR。SISR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应，因此通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中，这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的SR通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。

1、为什么使用超分辨率重建？

通常情况，图像传感器均能获得较好的质量，但在特殊场合，受到诸多因素影响，导致图像质量下降。如图像采集获取过程中：成像环境、成像距离、传感器形状和大小、光学系统的误差、空气扰动、物体运动、镜头散焦的影响。
图像数字化处理过程中：成像、转换、编码、压缩、存储都会影响到图像的分辨率。另外**，还有成像噪声、电气噪声、系统噪声的叠加**。所以实际应用中，无法按照理想状况实现，存在的这些因素，必然影响图像的质量，获得较高质量的图像分辨率也是相当困难的。理论上，获得高分辨率只要增加成像系统的个数，最直接的方法是，通过传感器制造技术减小像素尺寸，增加单位面积的成像点阵就可以解决问题。
综上，由于技术水平和经济条件的限制，使得成像传感器和光学器件的性能指标可能无法满足应用的需要，因此，需要采用信号处理方法提高图像分辨率。

2、经典图像插值算法有哪些，局限在哪里？

经典算法也可以提高图像分辨率，包括最近邻插值、线性插值、双三次插值、样条插值，但只是可以增加图像的像素尺寸，改变图像的视觉效果，不能突破原有的信息量。因此，需要有一种新的方法来克服信息量不足的问题。
（1）最近邻插值：又叫零阶插值（Nearest Neighbor Interpolation），是最简单的插值方法。它是用原始图像中的特定像素点的像素值去填充缩放后的图像，容易实现，对于灰度图像，即将原始图像进行逐点处理，把每一个像素点的灰度值进行插值倍数次复制。它采用的插值函数是一个常量函数，是矩形函数。
最近邻插值的优点是简单易实现计算量很小，使得这种方法在很多场合得以应用。它的缺点是插值后的图像质量不高，常常出现方块效应和锯齿效应。
（2）线性插值，又叫双线性插值（Bilinear Interpolation），也是一种简单的插值方法，广泛在图像重建领域中使用，主要是由于线性插值较低的计算量和优于邻域插值的图像质量，因为它是二阶代数拟合。它被称为双线性插值是因为在对图像的插值是分两次对行、列像素分别线性插值处理得到的。
线性插值放大产生的图像比最近邻域插值产生的图像平滑，不会出现灰度值不连续的的情况。由于线性插值具有低通滤波器的性质，使高频分量受损，当放大倍数增大时，放大后的图像也会出现明显的块状现象，使图像轮廓一定程度上变得模糊。
（3）三次插值（Cubic Interpolation），又叫双三次卷积值，它是在线性插值基础上的改进，基本思想是增加邻域像素点获得更佳的插值函数，利用卷积算子表达插值方法，卷积过程如下：
在这里插入图片描述

优点是图像差值质量好。
（4）样条插值
上述三种插值属于传统的多项式插值，为了处理更多数据点，更好的逼近，必须增加了多项式阶数，则应用上受到很多限制。多项式插值的问题：第一、多项式插值受数据点位置的影响大。若出现杠杆点则影响更大。第一多项式插值受输入点变动的影响大。多项式插值没有局部性，它的形式由所有的数据点决定的。一点变动，整个多项式都要变动。
多项式插值在数据点间震荡被称为龙格现象，可以通过样条插值（Spline Interpolation）来解决问题。样条是特殊函数，多项式分段定义。样条插值比多项式插值好用，低阶样条插值能达到高阶多项式插值效果，还能避免龙格现象，且样条插值具有保凸特性。样条插值在插值点一阶连续可导，与期望函数的均方误差最小。

3、进行超分辨率重建的方式有哪些?

超分分为以下两种：
Image SR。只参考当前低分辨率图像，不依赖其他相关图像的超分辨率技术，称之为单幅图像的超分辨率（single image super resolution，SISR）。
Video SR。参考多幅图像或多个视频帧的超分辨率技术，称之为多帧视频/多图的超分辨率（multi-frame super resolution）。对于video SR，其核心思想就是用时间带宽换取空间分辨率。简单来讲，就是在无法得到一张超高分辨率的图像时，可以多取相邻几帧，然后将这一系列低分辨率的图像组成一张高分辨的图像。
一般来讲Video SR相比于Image SR具有更多的可参考信息，并具有更好的高分辨率视频图像的重建质量，但是其更高的计算复杂度也限制了其应用。
通常包括两个步骤：首先图像配准，即估计低分辨率图像之间亚像素级别的相对位移；其次图像融合，将多幅低分辨率图像融合成一幅高分辨率图像。

4、超分辨率重建技术与图像复原技术区别与联系？

超分辨率重建过程中，由于低分辨率图像序列往往受光学模糊、运动模糊、噪声以及混叠因素的影响，所以超分辨率重建技术涵盖图像复原技术。二者的区别是图像复原技术是在不改变图像尺寸的情况下恢复一幅图像，所以图像复原技术和图像超分辨率重建具有相当紧密的联系，可认为图像超分辨率重建是在理论上的第二代图像复原问题。研究图像超分辨率重建技术一方面具有重要的理论意义，推动图像复原技术的进一步发展；另一方面具有重要的实践意义，克服光学成像系统硬件方面的局限性，某些场合下仍然可以继续使用原有的低分辨率成像系统，在较小数据量传输的情况下，获得满足特定分辨率要求的图像。

5、SR常用的评价指标

有两种，一种是PSNR（峰值信噪比），另一种是SSIM（结构相似性评价），这两种评价指标是SR中最基础的测量被压缩的重构图像质量的指标。

（1）PSNR——峰值信噪比 Peak Signal-to-Noise Ratio
PSNR是信号的最大功率和信号噪声功率之比，来测量已经被压缩的重构图像的质量，通常以分贝（dB）来表示。PSNR指标越高，说明图像质量越好。
$PSNR=10*\log_{10}(\frac{MAX_I^2}{MSE})=20*\log_{10}(\frac{MAX_I}{\sqrt {MSE}})$
其中，MAX_I 表示的是图像中像素值中的最大值，MSE 表示的两个图像之间对应像素之间差值的平方的均值，单通道图像的MSE可以表示为如下公式：

$MSE=\frac{1}{M*N} \sum_{i=1}^N \sum_{j=1}^M (f_{ij}-f'_{ij})^2$

多通道（C通道）图像的MSE可以表示为如下公式：

$MSE=\frac{1}{C*M*N} \sum_{k=1}^C \sum_{i=1}^N \sum_{j=1}^M (f_{ijk}-f'_{ijk})^2$

（2）SSIM——结构相似性评价 Structural Similarity Index
SSIM是衡量两幅图像相似度的指标，其取值范围为[0,1]，SSIM的值越大，表示图像失真程度越小，说明图像质量越好。
话不多说，先把SSIM的公式放上：
$L(X,Y)=\frac{2\mu_X\mu_Y+C_1}{\mu_X^2+\mu_Y^2+C_1}$

$C(X,Y)=\frac{2\sigma_X\sigma_Y+C_2}{\sigma_X^2+\sigma_Y^2+C_2}$

$S(X,Y)=\frac{\sigma_{XY}+C_3}{\sigma_X\sigma_Y+C_3}$

$S S I M (X, Y) = L (X, Y) * C (X, Y) * S (X, Y)$

其中，μ_X 和μ_Y为图像X，图像Y的像素的均值，σ_X 和σ_Y为图像X,图像Y的像素的标准值，σ _XY代表图像X和图像Y的协方差。
此外，C₁ ,C₂和C₃是常数，C₁=(K₁ * L)²，C₂=(K₂ * L)²，C₃=1/2C₃
，一般的，K₁=0.01，K₂ = 0.03 ，L = 255 。

在实际操作中，对于求得图像像素的均值、方差和标准差，可以用高斯函数计算图像参数，可以保证更高的效率。同时，我们可以用平均结构相似性评价指标MSSIM来代替结构相似性评价指标SSIM。
平均结构相似性评价指标MSSIM：利用滑动窗将图像分块，令分块总数为N，采用高斯加权计算每一窗口的均值、方差和协方差，计算对应块的结构相似度SSIM，取平均值。
$MSSIM(X,Y)=\frac{1}{N} \sum_{k=1}^{N} SSIM(X_k,Y_k)$

我们对于图像重构质量的评价指标还有其他许多种，但是我们也要思考的是真的是评价指标的高低和我们人眼看到的优劣是一致的么？除了这些常用评价指标外还有没有其他的指标可以衡量图像重构的质量。

基于重建的方法

通常都是基于多帧图像的，需要结合先验知识。有如下方法：

凸集投影法（POCS)
贝叶斯分析方法
迭代反投影法（IBP）
最大后验概率方法
正规化法
混合方法

基于学习的图像超分辨率

机器学习领域（非深度学习邻域）的图像超分方法如下：

Example-based方法
邻域嵌入方法
支持向量回归方法
虚幻脸
稀疏表示法

基于深度学习的图像超分辨率重建技术

基于深度学习的图像超分辨率重建的研究流程如下：

1，首先找到一组原始图像Image1；
2，然后将这组图片降低分辨率为一组图像Image2；
3，通过各种神经网络结构，将Image2超分辨率重建为Image3（Image3和Image1分辨率一样）
4，通过PSNR等方法比较Image1与Image3，验证超分辨率重建的效果，根据效果调节神经网络中的节点模型和参数
5，反复执行，直到第四步比较的结果满意