Title：RankSRGAN: Generative Adversarial Networks with Ranker for Image Super-Resolution
From：ICCV2019
Note data：2019/08/18
Abstract：针对现有方法中无法合理评估生成图像质量问题，采用感知指标来评估感知质量并提出具有Ranker（RankSRGAN）的超分辨生成对抗网络。
Code:未开源
1 Abstract
生成对抗网络（GAN）已经证明了恢复单图像超分辨率（SISR）的真实细节的潜力。 为了进一步提高超分辨率结果的视觉质量，PIRM2018-SR Challenge采用感知矩形来评估感知质量，例如PI，NIQE和Ma。 论文针对现有的方法不能直接优化一些无差异的感知度量问题，提出了具有Ranker（RankSRGAN）的超分辨生成对抗网络。在感知度量方向上优化生成器并生成更加自然的纹理。最吸引人的部分是所提出的方法可以结合不同SR的优势。 产生更好结果的方法。 大量实验表明，RankSR-GAN实现了视觉上令人愉悦的结果，并在感知指标中达到了最先进的性能。
2 Introduction
单图像超分辨率旨在从低分辨率（LR）观察重建/生成高分辨率（HR）图像（超分辨综述）。由于强大的学习能力，卷积神经网络（CNNs）已经证明了优于传统的基于实例的和基于插值的算法的性能。最近基于CNN的方法可以分为两组：
- 第一个将SR视为重建问题，并采用MSE作为损失函数来实现高PSNR值。
存在的问题：由于重建精度和视觉质量之间的冲突，它们倾向于产生过度平滑/锐化的图像。为了获得更好的视觉质量；
- 第二组将SR视为图像生成问题。通过结合感知损失和对抗性学习，这些感知SR方法有可能产生逼真的纹理和细节。
感知SR方法面临的最具挑战性的问题是评估。大多数相关工作依靠用户研究来主观评估视觉质量。但是，如果没有像PSNR / SSIM这样的客观度量，很难在公平平台上比较不同的算法，这在很大程度上阻碍了它们的快速发展。为了解决这个问题，提出了许多无参考图像质量评估（NR-IQA）指标，其中一些被证明与人类评级高度相关，如NIQE （相关性0.76）和PI （相关性0.83）。特别地，PIRM2018-SR挑战引入了PI度量标准作为感知标准并成功地对条目进行了排名。然而，这些NR-IQA指标中的大多数都不是可微分的（例如，它们包括手工特征提取或统计回归操作），使得它们不能用作损失函数。在不考虑优化中的NR-IQA度量的情况下，现有的感知SR方法在客观感知标准的方向上不能表现出稳定的性能。
为了克服这个障碍，论文提出了一个通用且可微分的模型 - Ranker，它可以模拟任何NR-IQA指标并提供明确的目标（作为损失函数）来优化感知质量。 具体来说，Ranker是一个连体CNN，它通过学习排名方法来模拟感知度量的行为。 值得注意的是，由于NR-IQA指标具有各种动态范围，因此Ranker了解其输出排名顺序而非绝对值。 我们为Ranker配备了标准的SRGAN模型并形成了一个新的感知SR框架 - RankSRGAN（具有Ranker的超分辨率生成对抗网络）。除了SRGAN之外，所提出的框架使用训练有素的Ranker来测量 输出图像质量。 然后可以在特定感知度量的方向上稳定地优化SR模型。
3 Relate work
作者从三个方面对相应的工作进行了介绍以下将分条进行说明：
Super resolution：首先将卷积神经网络（CNN）引入SR任务，一系列基于学习的作品在PSNR方面取得了很大的进步。提出了一系列的相关网络模型，引入纹理匹配和语义先验以提高感知质量。采用NIQE和Ma 组成的感知指数来测量ECCV中PIRM2018-SR挑战中的感知SR方法。ESRGAN通过改进网络架构和损失功能来实现最先进的性能。
CNN for NR-IQA：无参考图像质量评估（NR-IQA）可以通过基于学习的模型实现，该模型从自然场景统计（NSS）中提取手工制作的特征。。对于SR任务，我们期望将感知度量的等级信息引入SR模型训练。
Learning to rank：使用良好学习的排名函数模拟相对属性。首先在统一框架中使用CNN进行相对属性排序。对我们工作最相关的研究之一是RankCGAN ，该研究调查了使用GAN来处理具有语义属性的图像生成任务。与通过噪声输入生成图像的标准GAN不同，RankCGAN将成对的Ranker合并到CGAN架构中，以便它可以使用主观测量来处理连续属性值。
4 Method
4.1 Overview of RankSRGAN
该方法由生成器和判别器组成。 判别器网络试图将 ground-truth与超分辨率结果区分开来，同时训练发电机网络以欺骗判别器。 为了获得更自然的纹理，我们建议通过利用感知度量的先验知识来增加标准SRGAN 的附加约束，以提高输出图像的视觉质量。 我们方法的总体框架如图2所示。
网络概述：
阶段1：在感知度量的方向上由不同的SR模型生成成对等级图像。
阶段2：训练类似暹罗的排名网络。
阶段3：引入从训练有素的Ranker获得的排名内容损失，以指导GAN培训。 RankSRGAN由生成器（G），鉴别器（D），固定特征提取器（F）和Ranker（R）组成
阶段1：生成成对排名图像。采用不同的SR方法在公共SR数据集上生成超分辨率图像。然后在所生成的图像上应用所选择的感知度量（例如，NIQE）。之后拾取相同内容的两个图像以形成一对，并根据由感知度量计算的质量分数对成对图像进行排名。然后获得成对图像和相关的排名标签。
第二阶段：训练排名。 Ranker采用Siamese架构来学习感知指标的行为，网络结构在3.2节中描述。我们采用余量等级损失，这是“学习排名”中常用的，作为优化Ranker的成本函数。学习的Ranker应该具有根据他们的感知分数对图像进行排名的能力
Stage3：Introducerank-contentloss：一旦Ranker受过良好训练，我们就会使用它来定义标准SRGAN的排名内容损失，以生成视觉上令人愉悦的图像。
4.2 Ranker
