题目：Progressive Semantic-Aware Style Transformation for Blind Face Restoration
中文：渐进式语义感知样式转换，用于盲脸修复
摘要
- 脸部修复在脸部图像处理中很重要，并且近年来已被广泛研究。但是，先前的工作**【缺点】
通常无法为现实世界中的低质量（LQ）人脸图像生成合理的高质量（HQ）结果。在本文中，我们提出了一种新的渐进式语义感知转换框架，称为PSFR-GAN**，用于面部修复。具体而言，我们通过语义感知样式转换将LQ人脸图像的恢复公式化为多尺度渐进恢复过程，而不是使用先前的编码器-解码器框架。给出一对LQ人脸图像及其对应的解析地图时，我们首先生成输入的多比例金字塔，然后在语义感知的样式转换通道中从粗到细逐步调制不同比例的功能。与以前的网络相比，提出的PSFR-GAN充分利用了来自不同比例输入对的语义（解析图）和像素（LQ图像）空间信息。另外，我们进一步引入了语义感知风格损失，该算法分别计算每个语义区域的特征风格损失，以改善面部纹理的细节。最后，我们预训练了一个面部分析网络，该网络可以从现实世界的LQ面部图像中生成体面的分析图。实验结果表明，经过合成数据训练的模型不仅可以为合成LQ输入产生更多的高分辨率高分辨率结果，而且与最新方法相比，可以更好地推广到自然LQ人脸图像。可以在https://github.com/chaofengc/PSFRGAN上找到代码。
背景：通常无法为现实世界中的低质量（LQ）人脸图像生成合理的高质量（HQ）结果
方法：提出了一种新的渐进式语义感知转换框架，称为PSFR-GAN，用于面部修复。具体而言，我们通过语义感知样式转换将LQ人脸图像的恢复公式化为多尺度渐进恢复过程，而不是使用先前的编码器-解码器框架。
结论：实验结果表明，经过合成数据训练的模型不仅可以为合成LQ输入产生更多的高分辨率高分辨率结果，而且与最新方法相比，可以更好地推广到自然LQ人脸图像。
引言
盲脸修复包括人脸超分辨但是不限于词此
传统的人脸超分辨都是使用编码器-解码器结构，旨在学习从LQ到HQ图像的直接黑盒映射。
- 盲人脸恢复是指从LQ输入中恢复HQ图像，这些图像会遭受未知的退化，例如低分辨率，噪声，模糊和有损压缩。由于其广泛的应用，它引起了越来越多的兴趣。但是，目前大多数还原方法仍然专注于特定类型的还原，特别是超分辨率，并且很少能很好地推广到实际的LQ图像。
- 与一般的图像恢复不同，即使图像质量严重下降，面部恢复也可以充分利用面部的先验知识来恢复面部成分的细节。因此，许多有关人脸超分辨率的最新著作结合了人脸先验知识来改善性能，例如解析地图（Chen等人2018），人脸标志物（Bulat和Tzimiropoulos 2018; De-okyun等人2019; Yu等人） （2018a）和身份优先（Zhanget等人2018a）。这些工作大多基于类似编码器/解码器的结构，该结构遵循一般图像恢复的实践，旨在学习从LQ到HQ图像的直接黑盒映射。尽管他们以额外的先验知识作为输入或监督来获得更好的结果，但很少有人报告对realLQ图像满意的结果。其他方法（Li et al.2018，2020b）尝试利用高质量参考来促进LQ图像的恢复。但是，在没有高质量参考的情况下，它们的实际应用受到限制。
提出新框架，将此问题表示为多尺度的语义感知样式转换过程。
-
在这项工作中，我们提出了一个名为PSFR-GAN的新的渐进框架，该框架将脸部修复表示为多尺度的语义感知样式转换过程。受StyleGAN网络最近的成功启发，StyleGAN（Karras，Laine和（Aila 2019），我们使用语义感知样式转移方法逐步调整不同比例的特征。具体来说，提出的PSFR-GAN从学习到的恒定潜码开始，然后通过几个上采样层生成不同比例的特征。我们通过不同尺度的输入中生成相应的风格转换参数。LQ输入提供颜色信息，而解析图提供形状和语义信息。以这种方式，更多的细节以从粗到细的方式添加到了最终特征中。此外，我们提出了语义感知风格损失，该损失分别计算每个语义区域的语法矩阵损失。革兰氏矩阵损失通常应用于神经样式转移（Gatys，Ecker和Bethge 2016），最近的作品（Gondal，Sch olkopf和Hirsch 2018）发现它也可以有效地恢复纹理。在这项工作中，我们证明了这些具有语义意识的样式丢失可以帮助改善纹理的存储并减轻不同面部区域的伪像的出现。
-
最后，为了使我们的框架更加实用，我们为LQ面部图像预训练了面部解析网络（FPN）。从直觉上讲，预测面部分析贴图比进行面部修复更容易，因为我们不需要关心纹理细节。实验表明，FPN在解析真实世界的LQ人脸图像时非常强大。在测试期间，我们首先使用FPN为LQ输入生成解析图，然后使用拟议的PSFR-GAN生成HQ输出。我们的贡献总结如下：
贡献如下：
- 1、我们提出一种新颖的多尺度渐进框架，用于实际的盲脸修复。 PSFR-GAN。我们的模型可以通过语义感知样式转换（使用多尺度LQ图像并解析地图作为输入）逐步恢复高质量的面部细节。与以前的工作相比，提出的PSFR-GAN可以更好地
利用像素域和语义域中的多尺度输入。 - 2。介绍了这些语义感知风格损失，
有助于改善不同语义区域的纹理还原，减少伪影的发生。 - 3。大量的实验表明，与当前的最新技术相比，
使用合成数据集训练的模型对自然LQ图像的泛化效果更好。 - 4。通过引入预训练的LQ人脸解析网络，我们的模型可以在仅提供LQ输入的情况下生成HQ图像，从而使其具有很高的实用性和适用性。【不需要提供HR图像】
结论
- 本文提出了一种多尺度的渐进式面部修复网络，称为PSFR-GAN，该网络通过语义感知样式转换以粗略到精细的方式恢复LQ面部输入。我们还提出了基于原始语法矩阵损失的这些语义感知式损失。综合和真实LQ测试数据集的实验都证明了我们PSFR-GAN的优越性和鲁棒性。通过预培训用于LQ输入的面部分析网络（FPN），我们的框架可以生成高分辨率和逼真的HQ输出，而无需额外的输入。总而言之，PSFR-GAN提供了强大且易于使用的解决方案，用于在现实情况下进行面部修复。
图2：建议的渐进式语义感知样式转换网络的可视化，用于面部修复。
图3：PSFR-GAN分析。放大以查看详细信息。
图4：在CelebAHQ-Test数据集上的视觉比较。拟议的PSFR-GAN在LQ输入中表现出最好的效果，包括轻度退化，严重退化和大姿态。通过预训练的FPN预测的LQ输入的预测解析图重叠在GT图像的拐角处。为了获得更好的可视化体验，我们仅在表1中显示前5个FID得分的结果。请放大以查看详细信息
图5：对PSFR-RealTest数据集的视觉比较。拟议的PSFR-GAN的结果更清晰，更实际。我们在表1中显示了FID得分最高的5个结果。补充材料中提供了更多结果。
图6：PULSE和PSFR-GAN之间的视觉比较。补充材料中提供了完整的结果。请放大以查看详细信息。
图7：模型的不同变体之间的视觉比较。请放大以查看详细信息。
