URDGN论文阅读笔记

题目:Ultra-Resolving Face Images by Discriminative Generative Networks

中文:判别式生成网络的超分辨人脸图像在这里插入图片描述

摘要

  • 【缺点】常规的人脸超分辨率方法(也称为人脸幻觉)仅限于2〜4×2〜4×比例因子,其中每个给定像素估计额外的4〜164〜16个像素。此外,当输入的低分辨率图像尺寸太小以至于在输入图像中只有很少的信息可用时,它们变得非常脆弱。为了解决这些缺点,我们提出了一种判别式生成网络,该网络可以通过从单个像素重建64个像素,**将分辨率为16×16像素的超低分辨率人脸图像超分辨率为8×或者更大的版本。**我们在生成模型中引入了逐像素的ℓ2正则化项,并利用判别网络的反馈使经过采样的人脸图像与真实人脸图像更加相似。在我们的框架中,判别网络学习人脸的基本组成部分,而生成网络将这些部分以最准确的方式混合到输入图像中。由于在训练中仅使用正面和普通对齐的图像,因此我们的方法可以直接超分辨各种分辨率很低的图像,而无需考虑姿势和面部表情的变化。我们广泛的实验评估表明,与现有技术相比,判别式生成网络(UR-DGN)提出的超分辨率可实现更吸引人的结果。

背景:常规方法当输入的低分辨率图像尺寸太小以至于在输入图像中只有很少的信息可用时,它们变得非常脆弱
方法:提出了一种判别式生成网络,该网络可以通过从单个像素重建64个像素,将分辨率为16×16像素的超低分辨率人脸图像超分辨率为8×或者更大的版本。在生成模型中引入了逐像素的ℓ2正则化项,并利用判别网络的反馈使经过采样的人脸图像与真实人脸图像更加相似。
结论:与现有技术相比,判别式生成网络(UR-DGN)提出的超分辨率可实现更吸引人的结果。

贡献

  • 我们提出了一种超分辨率8倍缩放因子低分辨率人脸图像的新颖方法。我们输入的低分辨率图像的尺寸很小,只有16×16像素,这使得放大任务变得更具挑战性,因为几乎所有面部细节都丢失了。
  • 据我们所知,我们的方法是开发具有鉴别力的生成网络以生成真实面部图像的首次尝试。我们证明了我们的UR-DGN比最新技术具有更好的视觉效果。
  • 我们表明,通过将像素级L2正则化项引入网络并反向传播其残差,可以以任何大小进行超分辨率,而GAN只能生成固定大小的图像。
  • 在训练我们的网络时,我们只需要正面和大致对齐的图像,这使得训练数据集更加可实现。无论姿势,光线和面部表情如何变化,我们的UR-DGN都可以超分辨率。
  • 由于其前馈拓扑,我们的超分辨率方法非常快。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

结论

处理姿势、照明、面部表情不同的人脸图像
方法运行很快

猜你喜欢

转载自blog.csdn.net/mzj15101229871/article/details/113259316