题目：Photo-Realistic Single Image Super-Resolution Using a Generative AdversarialNetwork
中文：使用生成的对抗网络实现逼真的单图像超分辨率
摘要
- 尽管使用更快，更深的卷积神经网络在单图像超分辨率的准确性和速度方面取得了突破，但仍未解决一个主要问题：在**【CNN的缺点】
较大的缩放比例下进行超分辨率时，如何恢复更精细的纹理细节。基于优化的超分辨率方法的行为主要取决于目标函数的选择。最近的工作主要集中在最小化均方重构误差上。所得的估计值具有很高的峰值信噪比，但是它们通常缺少高频细节【PSNR很高，但是缺少高频细节】，并且在某种意义上说，它们无法满足较高分辨率下的保真度，因此在感觉上并不令人满意。在本文中，我们提出了SRGAN，这是一种用于图像超分辨率（SR）的生成对抗网络（GAN）。据我们所知，它是第一个能够针对4倍放大因子推断出逼真的自然图像的框架**。为此，我们提出了一种感知损失函数，该函数由对抗损失和内容损失组成。对抗性损失使用鉴别器网络将我们的解决方案推向自然图像流形，该鉴别器网络经过训练可区分超分辨图像和原始逼真的图像。另外，我们使用了由感知相似性而非像素空间相似性引起的内容损失。我们的深层残差网络能够在公共基准上从大量降采样的图像中恢复逼真的纹理。广泛的平均分数（MOS）测试显示，使用SRGAN可以显着提高感知质量。用SRGAN获得的MOS得分比通过任何最新方法获得的MOS得分更接近原始高分辨率图像的MOS得分。
CNN的缺点是无法恢复更加精细的纹理细节
方法：提出GAN，提出了一种感知损失函数，该函数由对抗损失和内容损失组成。
结论：使用SRGAN可以显着提高感知质量
图1：超分辨率图像（左）几乎与原始图像（右）没有区别。 [4×放大]
引言
-
从低分辨率（LR）对应部分估计高分辨率（HR）图像的极富挑战性的任务称为超分辨率（SR）。 SR在计算机视觉研究界引起了广泛关注，并具有广泛的应用[62,70,42].
-
未确定的SR问题的不适定性对于高比例缩放因子尤为明显，因为对于后者而言，在重建的SR图像中通常没有纹理细节。
监督SR算法的优化目标通常是最小化恢复的HR图像和地面真实情况之间的均方误差（MSE）。这很方便，因为最小化MSE也会使峰值信噪比（PSNR）最大化，这是用于评估和比较SR算法的常用方法[60]。但是，【但是MSE的缺点就是与感知效果相反】MSE（和PSNR）捕获感知相关差异（例如高纹理细节）的能力非常有限，因为它们是基于像素级图像差异定义的[59,57,25]。如图2所示，其中最高PSNR不一定反映出感知上更好的SR结果。超分辨图像和原始图像之间的感知差异意味着恢复的图像不是Ferwerda [15]所定义的真实感。
图2：从左至右：双三次插值，针对MSE优化的深层残差网络，针对对人类感知更敏感的损失而优化的深层残差生成对抗网络，原始HR图像。括号中显示了相应的PSNR和SSIM。 [4×放大]
- 在这项工作中，我们提出了一个超分辨率的生成对抗网络（SRGAN），为此我们采用
带有跳过连接的深度残差网络（ResNet）并脱离MSE作为唯一的优化目标。与以前的工作不同，我们使用VGG网络的高级特征图[48,32,4]结合鉴别器来定义一种新颖的感知损失，该鉴别器鼓励解决方案在感知上难以与HR参考图像区分开。图中显示了使用4x放大因子进行超分辨率的示例真实感图像。
结论
- 我们已经描述了一个
深度残差网络SRRes-Net，当使用广泛使用的PSNR测量进行评估时，它将为公共基准数据集设置一个新的技术水平。我们已经强调了这种以PSNR为中心的图像超分辨率的一些局限性，并介绍了SRGAN，它通过训练GAN来增强内容丢失功能，并具有对抗性损失。使用广泛的MOS测试，我们已经确认，对于较大放大倍数（4x）的SRGAN重建比通过最新参考方法获得的重建具有更高的照片级逼真度。
图3：来自自然图像流形（红色）和用MSE（蓝色）和GAN（橙色）获得的超分辨色块的色块说明。基于MSE的解决方案由于像素空间中可能解决方案的逐像素平均值而显得过于平滑，而GAN则将其推向自然图像流形的构建，从而产生了更具说服力的解决方案。
图4：生成器和鉴别器网络的体系结构，其中为每个卷积层指示了相应的内核大小（k），特征图数量（n）和步幅（s）。
