HifaceGAN论文阅读笔记

题目：HiFaceGAN: Face Renovation via CollaborativeSuppression and Replenishment

中文：HiFaceGAN：通过协同抑制和补给进行面部修复

图1：相关的最新技术的面部修复结果。我们的HiFaceGAN通过自然图像质量评估器（NIQE）[42]达到了最好的效果。（最好在计算机屏幕上查看，以方便您放大和比较面部细节的质量。其他数字也一样。）

摘要:

• 现有的人脸复原研究通常依赖于退化先验或显式的引导标签进行训练，这十种方法中的任何一种都会导致在具有异质退化和丰富背景的真实图像上泛化能力有限目录。这篇论文，我们研究了更具挑战性和实用性的“双盲”版本的问题，通过解除对这两种类型的先验知识的要求，称为“面部幻觉”（FR）。具体来说，我们将FR描述为一个语义引导的生成问题，并使用协作抑制和补充（CSR）方法来解决它。这导致了HiFaceGAN，一个包含多个嵌套CSR单元的多阶段框架，该单元基于从前端内容自适应抑制模块提取的分层语义指导逐步补充面部细节。通过对合成和真实人脸图像的大量实验，验证了HiFaceGAN在各种具有挑战性的恢复子任务上的优越性能，证明了其对真实人脸处理应用的通用性、鲁棒性和泛化能力。

背景：人脸复原研究通常依赖于退化先验或显式的引导标签进行训练，我们要提出一种不依赖人脸先验的方法
方法：将FR描述为一个`语义引导的生成问题，并使用协作抑制和补充（CSR）方法来解决它。包含多个嵌套CSR单元的多阶段框架，基于从前端内容自适应抑制模块提取的分层语义指导逐步补充面部细节
结论：在各种具有挑战性的恢复子任务上的优越性能，证明了其对真实人脸处理应用的通用性、鲁棒性和泛化能力。

图2：退化类型和相应的人脸操纵任务的可视化

图3：拟议的HiFaceGAN的嵌套多阶段架构

图4：抑制模块的实现

图5：（a）Hi-FaceGAN的工作机制及其（b）相对于现有面部修复工作的优势的可视化。

图6：我们的HiFaceGAN以及所有提到的子任务的相关最新技术的定性结果（最好在计算机屏幕上查看，以方便放大和比较视觉细节的质量）

图7：建议的HiFaceGAN的压力测试。红色数字表示降级水平已超出训练数据的限制

引言

• 脸部照片记录了个人和人类文明历史时刻的长期宝贵记忆。然而，在图像的获取，存储和传输中，有限的条件不可避免地会涉及现实世界中复杂，异构的退化，包括离散采样，加性噪声，有损压缩等。面部修复技术具有广阔的应用前景和研究价值，已引起工业界和学术界的广泛关注，其中大量的研究[41] [48] [37]致力于解决特定类型的图像退化问题。然而，在更加普遍，不受限制的应用场景下，很少有现有作品能够报告令人满意的修复效果。
• 对于面部修复，大多数现有方法通常以“非盲”方式工作，并会降低指定类型和强度，从而导致各种子任务，包括超分辨率[58] [8] [34] [55]，幻觉[47] [29]，去噪[1] [60]，去模糊[48] [25] [26]和压缩伪影去除[37] [7] [39]。然而，特定于任务的方法通常在具有复杂且异构的变形的真实世界图像上表现出较差的概括性。图1中的一个例子是1927年索尔维会议上拍摄的历史合影，该照片中的超分辨率方法ESRGAN [55]和Super-FAN [4]倾向于引入其他伪像，而其他三种任务特定的恢复方法几乎在抑制退化伪影或补充头发质地，皱纹等细微差别方面几乎没有任何区别，这揭示了任务特定的恢复方法的不切实际。
• 当涉及到盲目图像恢复[43]时，研究人员旨在恢复高水平的图像。退化观测后获得的高质量图像（“单盲”方式），无需事先了解退化的类型和强度。从伪像重构图像内容而又不降低性能通常是一项挑战，需要额外的指导信息，例如分类[2]或结构先验[5]，以促进对真实和逼真的细节的补充。对于盲人脸修复[35] [6]，通常将面部地标[4]，解析图[53]和组件热图[59]用作外部指导标签。 Liet.al特别探讨了引导式脸部修复问题[31] [30]，在该问题中，还使用了额外的优质脸部来促进细粒尾部补货。但是，这通常导致在没有地面真相注释的情况下恢复照片的可行性有限。此外，对于具有复杂背景的真实世界图像，引入不必要的指导可能会导致翻新面孔的质量与无人值守背景内容之间的不一致。
• 本文正式提出了“面孔翻新”（FR），这是极富挑战性的，但更实用在“双盲”条件下进行照片级真实感面部修复的任务，同时满足了对退化和结构化训练的要求。具体而言，我们将FR公式化为语义引导的人脸综合问题，并提出使用协作抑制和补充（CSR）框架解决该问题。为了实现FR，我们提出了HiFaceGAN，这是一个具有多个嵌套CSR单元的生成框架，可以在具有分层语义指导的多阶段方式中实现FR。每个CSR单元都包含一个抑制模块，用于通过内容自适应卷积提取分层的语义特征，以指导相应语义内容的补充。针对合成的FFHQ [19]和真实照片，针对竞争性降解特定的基线进行了广泛的实验，突出了拟议的面部修复面临的挑战以及拟议的HiFaceGAN的优越性。
• 总而言之，我们的贡献是三方面的：
  • •我们提出了一项具有挑战性但又切实可行的任务，称为“面部修复（FR）”，以“双盲”方式解决无约束的面部修复问题，从而提高了对退化和结构先验的要求。
  • •我们提出了一个带有嵌套架构的协作抑制和补给（CSR）框架“ HiFaceGAN”，用于具有分层语义指导的多阶段面部修复。具体来说，将通过示例举例说明提取的语义层次结构，HiFaceGAN的工作机制及其优点，以及现有修复方法的不足。
  • •对合成人脸图像和真实人脸图像进行了广泛的实验，与“非盲”和“单盲”相比，性能显着提高盲”基线，验证了我们提出的HiFaceGAN的多功能性，鲁棒性和泛化能力

结论

• 在本文中，我们向现实世界中的照片修复应用程序提出了一个具有挑战性但又更实际的任务，称为“面部修复”。特别是，我们提出了HiFaceGAN，这是一个协作抑制和补给框架，以“双盲”方式工作，解除了在培训之前或组织指导之前对降级的一般要求。对合成人脸图像和现实世界中的历史照片进行的大量实验证明了其在各种人脸修复任务中的多功能性，鲁棒性和泛化能力，大大超过了当前的最新水平。此外，HiFaceGAN的工作机制和“双盲”设置的合理性通过示例性实例令人信服地得到了证明，为该主题带来了新的见解。将来，我们设想拟议的HiFaceGAN将成为迈向面部修复的坚实一步。具体来说，严重的退化通常会导致内容模糊不清，以至于无法翻新，例如图6中出现的Afro发型，其中我们的方法误判了正常的直发，这促使我们在数据收集过程中增加了不同种族之间的多样性和平衡。对于具有规则几何形状（例如眼镜）和部分被遮挡的面部的物体的改造，这是一个巨大的挑战，这是外部结构指导可能有益的典型案例。因此，探索具有结构和语义指导的多模式生成网络是另一种可能性。
  +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
• 这篇文章其实是针对人脸修复的，不只是人脸超分辨。可以借鉴其中的超分辨部分。