CVPR2019超分领域出现多篇更接近于真实世界原理的低分辨率和高分辨率图像对应的新思路。具体来说，以前论文训练数据主要使用的是人为的bicubic下采样得到的，网络倾向于学习bicubic下采样的逆过程，这与现实世界原理不太相符。为了得到重建结果，要么采用psnr-oriented方式获得更高的psnr，要么采用perceptual-oriented获得更好的主观效果，但这与现实世界的图像系统并不吻合，有可能会造成deterioration. 下面便对CVPR2019中的超分论文做一些介绍和剖析：
1. Meta-SR: 任意输入上采样因子的超分辨率网络
摘要：随着DNN的发展，超分辨率技术得到了巨大的改进。但是，超分辨率问题中的任意scale factor问题被忽视了很久。前面的很多工作都是把不同scale factor（即HR和LR之间的分辨率比）的超分辨率看作是独立的任务，然后分别训练模型。本文作者提出了单模型解决任意scale factor的方法，叫做Meta-SR。 在Meta-SR中，一个Meta-SR Upscale Module代替了传统的upscale模块。对于任意的scale factor，Meta-SR Upscale Module能够动态地预测上采样滤波器的权重，然后用这些权重来生成HR。总而言之，Meta-SR能够以任意的上采样因子放大任意低分辨率的图像。
介绍：在ESPCNN,EDSR,RDN,RCAN等SOFT方法中，它们通常是在网络末端放大feature map。但是这些方法只能设计针对每个scale factor设计一个特定的上采样模块，并且这个上采样模块通常只对正整数的scale factors有效。这些缺点限制了SISR在现实中的使用。
在Meta-SR中，特征学习模块直接用的RDN的结构。RDN是CVPR18的spotlight，其结构主要是ResNetBlock和DenseNet的结合，具体可以参考这篇博客RDN。
论文全篇可参考：https://blog.csdn.net/m0_37615398/article/details/88382556
2. 带迭代核校正的盲超分辨率方法
摘要：基于深度学习的方法由于其在有效性和效率方面的显著性能而在超分辨率（SR）领域占主导地位。这些方法中的大多数假设在下采样期间的模糊核是预定义或已知的（例如，双三次bicubic）。然而，实际应用中涉及的模糊核是复杂且未知的，这导致先进的SR方法出现严重的性能下降。在本文中，我们提出了一种迭代核校正（IKC）方法，用于盲超分问题中的模糊核估计，其中模糊核是未知的。我们观察到，内核不匹配会带来规则的伪影（要么过度锐化要么过度平滑），这可以用于纠正不准确的模糊核。因此，我们引入了迭代校正方案 IKC实现比直接核估计更好的结果。我们进一步提出了一种有效的SR网络架构，该架构使用空间特征变换（SFT）层来处理多个模糊核，名为SFTMD。基于合成的和真实世界中的图像的广泛实验表明，提出的带SFTMD的IKC方法可以提供视觉上有利的超分结果和盲超分问题中的SOTA性能。
介绍：作为一个基础的低级视觉问题，单图像超分（SISR）是一个活跃的研究主题并受到越来越多的关注。大多数现有的超分方法假设下采样模糊核是已知和预定义的，但真实应用中的模糊核是相当复杂而未知的。正如之前有文章揭示的那样，当预定义的模糊内核与真实模糊内核不同时，基于学习的方法将遭受严重的性能下降。 这种内核不匹配现象会在输出图像中引入不需要的伪影【见图2】。因此，未知模糊内核（也称为盲SR）的问题已经使大多数基于深度学习的SR方法失败，并且在很大程度上限制了它们在真实世界中的应用。大多数现有的盲SR方法都是基于模型的，它们通常涉及复杂的优化程序。 他们使用自然图像的自相似性来预测基础模糊核。 但是，它们的预测很容易受到输入噪声的影响，导致不准确的模糊核估计。 一些基于深度学习的方法也试图在盲SR方面取得进展。 例如，在CAB 和SRMD 中，网络可以将模糊核作为附加输入，并根据提供的模糊核生成不同的结果。 如果输入的模糊核接近Ground Truth，它们可以获得令人满意的性能。 然而，这些方法仍无法预测每个手头图像的模糊核，因此不适用于实际应用。 尽管基于深度学习的方法主导了SISR，但它们在盲SR问题上的进展有限。
在本文中，我们专注于使用深度学习的方法来解决盲SR问题。我们的方法源于观察到由内核不匹配引起的伪影具有规则的模式。具体来说，如果输入核比真实核更平滑，则输出图像将会模糊或过度平滑。相反，如果输入核比正确的核更锐利，那么结果将会过度定型并具有明显的振铃效果【见图2】。核不匹配效应的这种不对称性为我们提供了如何纠正不准确的模糊核的经验指导。实际上，我们提出了一种基于预测和校正原理的盲SR的迭代核校正（IKC）方法。通过观察先前的SR结果来迭代地校正估计的核，并逐渐接近基础事实。即使预测的模糊核与实际核略有不同，输出图像仍然可以摆脱由核不匹配引起的那些常规伪影。通过进一步深入研究为多个模糊核提出的SR方法（即SRMD），我们发现将图像和模糊核的串联作为输入并不是最佳选择。为了向前迈进，我们采用了空间特征变换（SFT）层，并为多个模糊核（即SFTMD）提出了一种先进的CNN结构。实验证明，所提出的SFTMD大大优于SRMD。通过结合上述组件SFTMD和IKC，我们在盲SR问题上实现了最先进的（SOTA）性能。
论文主要贡献如下：（1）提出了一种直观有效的深度学习框架，用于单图像超分辨率下的模糊核估计。 （2）提出了一种新的非盲SR网络，它使用多个模糊核的空间特征变换层。 并展示了所提出的非盲SR网络的卓越性能。 （3）在仔细选择的模糊核和真实图像上测试盲SR性能。 大量实验表明，SFTMD和IKC的组合在盲SR问题中实现了SOTA性能。
https://blog.csdn.net/weixin_43840215/article/details/94389588
3. 相机镜头超分辨率
摘要：用于单图像超分辨率（SR）的现有方法通常用合成降级模型评估，例如双三次或高斯下采样。在本文中，我们从相机镜头的角度研究SR，命名为CameraSR，旨在减轻真实成像系统中分辨率（R）和视场（V）之间的内在权衡。具体来说，我们将R-V退化视为SR过程中的潜在模型，并学习用真实的低分辨率和高分辨率图像对来反转它。为了获得配对图像，我们为两个代表性成像系统提出了两种新颖的数据采集策略（分别是数码单反相机和智能手机相机。基于获得的City100数据集，我们定量分析了常用合成降解模型的性能，并证明了CameraSR作为提高现有SR方法性能的实用解决方案的优越性。此外，CameraSR可以很容易地推广到不同的内容和设备，在现实的成像系统中用作高级数字变焦工具。
zoom in 和zoom out是摄像技术用语。zoom in 指（照相机等）用变焦距镜头使景物放大，即将景物推近；zoom out刚好相反，表示用变焦距镜头使景物缩小，即将景物拉远。视野变大（zoom out），则关注的object的分辨率降低，视野变小（zoom in）则分辨率提高。数据集City100主要是拍摄的贺卡上的景物建筑图片。
在实践中，针对于直接使用捕获的原始数据的问题（包括空间错位，强度变化和颜色不匹配），作者提出了数据整改流程：
- spatial misalignment：（1）Match SIFT key-points between the HR images and the interpolated LR ones. （2）The matched coordinates are used to estimate a homography using RANSAC
- 将强度变化建模为图像的DC分量中的偏差，并通过平均整个图像中的像素强度来估计它。 然后，我们使用估计的偏差来补偿这种变化。
- 将颜色不匹配建模为参数非线性映射，并通过利用颜色棋盘将其与多项式参数拟合以进行校准。具体来说，先从颜色棋盘中收集并平均每个块中的像素值以获得从LR观察到HR基础事实的配对样本。 然后分别使用收集的样本拟合R，G和B通道的三条多项式曲线。 最后使用获得的多项式曲线在LR观测中映射像素。
4. 任意模糊核的深度即插即用超分辨率
摘要：虽然基于深度神经网络(DNN)的单图像超分辨率(SISR)方法正在迅速普及，但它们主要是针对广泛使用的双三次退化而设计的，对于任意模糊核的超分辨率低分辨率(LR)图像仍然存在根本性的挑战。同时，插件式图像恢复由于其模块化的结构，便于对去噪先验进行插件，因此具有较高的灵活性。本文提出了一种基于双三次退化的深度SISR算法框架，利用即插即用框架对任意模糊核的LR图像进行处理。具体来说，我们设计了一个新的SISR退化模型，以利用现有的盲去模糊方法进行模糊核估计。为了优化新的退化诱导能量函数，我们通过变量分裂技术推导了一个即插即用算法，该算法允许我们插入任何超分解先验而不是去噪先验作为模块部分。对合成和真实LR图像的定量和定性评价表明，所提出的深度即插即用超分辨率框架能够灵活有效地处理模糊LR图像。
主要贡献：（1）提出了一种比双三次退化模型更符合实际的SISR退化模型。它考虑了任意的模糊核，并支持使用现有的去模糊方法进行模糊核估计。（2）提出了一种深度即插即用的超分辨率框架来解决SISR问题。DPSR不仅适用于双三次退化，而且可以处理任意模糊核的LR图像。（3）由于迭代方法的目的是求解新的退化诱导能量函数，因此提出的DPSR算法具有良好的原则性。（4）提出的DPSR扩展了现有的即插即用框架，表明了SISR的即插即用先验并不局限于高斯去噪。
5. 用原始图像实现真实场景超分辨率
摘要：由于缺乏真实的训练数据和模型输入的信息丢失，大多数现有的超分辨率方法在实际场景中表现不佳。 为了解决第一个问题，我们提出了一种新的管道，通过模拟数码相机的成像过程来生成逼真的训练数据。 并且为了弥补输入的信息丢失，我们开发了一种双卷积神经网络，以利用原始图像中最初捕获的辐射信息。 此外，我们建议学习空间变异的颜色变换，这有助于更有效的颜色校正。 大量实验表明，原始数据的超分辨率有助于恢复精细细节和清晰结构，更重要的是，所提出的网络和数据生成流程在实际场景中实现了单图像超分辨率的卓越结果。
介绍：在光学摄影中，表示物体的像素数，即图像分辨率，与摄像机焦距的平方成正比。虽然可以使用长焦镜头来获得高分辨率图像，但是捕获场景的范围通常受到图像平面处的传感器阵列的尺寸的限制。因此，通常希望用户使用短焦距相机（例如广角镜头）以较低分辨率捕获宽范围场景，然后应用单图像超分辨率技术从低分辨率版本来恢复高分辨率的图像。大多数最先进的超分辨率方法是基于数据驱动的模型，特别是深度卷积神经网络。虽然这些方法对合成数据有效，但由于缺乏真实的训练数据和网络输入的信息丢失，它们对于照相机或手机（图1（c）示例）的真实捕获图像表现不佳。为了解决这些问题及实现真实场景超分辨率，我们提出了一种用于生成训练数据的新流水线和一种用于利用其他原始信息的双CNN模型，如下所述。
首先，大多数现有方法无法综合真实的训练数据;低分辨率图像通常用固定的下采样模糊核（例如双三次核）和同方差高斯噪声生成。一方面，实际中的模糊内核可能随着图像捕获期间的变焦，聚焦和相机抖动而变化，这超出了固定的核假设。另一方面，图像噪声通常服从异方差高斯分布，其方差取决于像素强度，这与同方差高斯噪声形成鲜明对比。更重要的是，模糊核和噪声都应该应用于线性原始数据，而先前的方法使用预处理的非线性彩色图像。为了解决上述问题，我们通过模拟数码相机的成像过程，应用不同的核和异方差高斯噪声来逼近实际场景，从而在线性空间中综合训练数据。如图1（d）所示，我们可以通过使用来自我们生成流水线的数据训练现有模型来获得更清晰的结果。
其次，现代相机同时向用户提供原始数据和预处理彩色图像（由图像信号处理系统，即ISP生成），大多数超分辨率算法仅将彩色图像作为输入，而不是充分利用原始数据中存在的辐射信息。相比之下，我们直接使用原始数据来恢复高分辨率的清晰图像，这带来了几个优点：（1）原始像素中可以利用更多信息，因为它们通常为12或14位，而由ISP通常为8位。我们在图2（a）中展示了一个典型的ISP管道。除了bit深度之外，ISP管道中还存在额外的信息丢失，例如降噪和压缩。 （2）原始数据与场景辐射成比例，而ISP包含非线性操作，例如色调映射。因此，成像过程中的线性劣化（包括模糊和噪声）在处理后的RGB空间中是非线性的，这给图像恢复带来了更多困难。 （3）ISP中的去马赛克步骤与超分辨率高度相关，因为这两个问题都涉及相机的分辨率限制。因此，解决预处理图像的超分辨率问题是次优的，并且可能不如同时解决这两个问题的单个统一模型。