题目：To learn image super-resolution, use a GAN tolearn how to do image degradation first
中文：要学习图像超分辨率，请使用GAN来学习如何进行图像降级
摘要
- 本文是关于图像和面部的超分辨率。针对该问题的大量先前工作集中在如何提高通过简单的双线性下采样（或在少数情况下先模糊后进行下采样）人为生成的低分辨率图像的分辨率。我们表明，将这些方法应用于现实世界中的低分辨率，低质量图像时，无法产生良好的结果。**【人为制造的LR图像训练的方法在现实世界中真实的LR图像上不适用，无法产生良好结果】**为了解决这个问题，我们提出了一个分为两个阶段的过程，该过程
首先训练一个高到低的生成对抗网络（GAN），以学习如何对高分辨率图像进行降级和降采样，而在训练过程中，这些高分辨率图像只需要不成对的高和低分辨率图像。一旦实现这一目标，该网络的输出将用于使用此时间对的低分辨率和高分辨率图像训练从低到高GAN的图像超分辨率。我们的主要结果是该网络现在可用于有效地增加现实世界中低分辨率图像的质量。尽管提出的方法可能适用于其他对象类别，但我们已将提议的管道用于人脸超分辨率问题，该问题比基线和先前的工作有较大改进。关键字：图像和人脸超分辨率，Generative AdversarialNetworks，GAN
背景：人为制造的LR图像训练的方法在现实世界中真实的LR图像上不适用，无法产生良好结果
方法：提出了一个分为两个阶段的过程，该过程首先使用从高到低的网络来学习如何降级仅需要未配对的高分辨率和低分辨率图像的高分辨率图像，然后使用该网络的输出来训练从低到高的图像。
结论：该方法可能适用于其他对象类别，但我们已将提议的管道用于人脸超分辨率问题，该问题比基线和先前的工作有较大改进。
引言
- 总而言之，我们的贡献是：
- 1.。我们提出了针对给定对象类别（即人脸）超分辨真实世界的低分辨率图像的首次尝试之一。
- 2。为此，在[3]的启发下，我们建议训练一个高到低的GANusing不成对的低分辨率和高分辨率图像，这些图像可用于有效地模拟图像退化过程。接下来，我们使用从高到低GAN来创建配对的低分辨率和高分辨率图像，这些图像可用于为实际的超分辨率训练低到高GAN。在最近有关图像超分辨率的工作中，L2像素损失占GAN损失的主要部分，GAN损失在使图像看起来更清晰方面起着完善的作用。在这项工作中，我们提出了一种以GAN为中心的方法，其中GAN损失驱动了图像生成过程。我们注意到，所使用的GAN损耗在从高到低和从低到高中起相互作用。在从高到低中，它被用来污染高分辨率输入图像，并带有来自Widerface数据集[1]的噪声和伪影，而在从低到高中，它被用于去噪。在这两个网络中，L2像素损失的作用都减少到帮助生成器保留面部特征（例如身份，姿势，表情）的作用.
- 4。我们已将拟议的管道应用到人脸超分辨率问题，在该问题中，我们报告了相对于基线的大幅改进以及先前对Widerface数据集中的现实世界中低质量，低分辨率图像的工作。
图1：我们的系统在Widerface [1]的现实世界中的低分辨率面部上产生的超分辨率结果。我们的方法与SRGAN [2]和CycleGan [3]进行了比较
图2：总体建议的体系结构和培训流程。另请参阅第3.1节
在这里插入图片描述
图3：由我们的高低网络（在3.3节中介绍）针对不同的输入噪声矢量产生的不同低分辨率样本的示例。请注意，我们的网络可以对各种程度的图像质量下降类型进行建模，例如照明，模糊，颜色和jpeg伪像。此外，它学习在给定输入图像类型（例如灰度与彩色图像）的情况下更有可能发现什么类型的噪声。最好以电子格式查看。
图4：用于（a）高到低和（b）低到高网络的生成器体系结构。使用的残差块如图6b所示。
图5：用于高到低和低到高网络的鉴别器架构。请注意，对于高到低，由于输入分辨率为16×16，因此省略了前两个最大合并层。所使用的残差块在图6a中示出。
图6：用于鉴别器（a）和生成器（b）的残差块
图7：来自Widerface的LR测试仪的详细定性结果。比较的方法在第4.1节中描述。
图8：来自Widerface的LR测试仪上的其他定性结果。比较的方法在第4.1节中进行了描述
图9：故障案例示例。在第一行和第三行中显示输入图像，而在第二行和第四行中分别显示通过我们的方法生成的输出图像。第二行显示的图像与人脸不相似。第四行中的图像确实与人脸相似，但失真严重
结论
- 我们提出了一种用于图像和面部超分辨率的方法，该
方法不将人工生成的LR图像视为输入，而是旨在产生良好的应用于现实的LR低质量图像时的结果。为此，我们提出了一个分为两个阶段的过程，该过程首先使用从高到低的网络来学习如何降级仅需要未配对的高分辨率和低分辨率图像的高分辨率图像，然后使用该网络的输出来训练从低到高的图像。用于图像超分辨率的高网络。我们证明了我们的管道可以用来有效地提高现实世界中LR图像的质量。我们报告了在基线和先前工作方面的较大改进。