PSFRNet论文阅读笔记

题目：Progressive Face Super-Resolution via Attention to Facial Landmark

中文：通过注意面部标志来实现渐进式面部超分辨率

摘要

• 人脸超分辨率（SR）是SR域的子领域，专门针对人脸图像的重建。面部SR的主要挑战是恢复基本的面部特征而不会变形。我们提出了一种新颖的人脸SR方法，该方法可生成具有完全保留的人脸细节的逼真的8x超分辨人脸图像。为此，我们采用了渐进式训练方法，该方法通过将网络分成连续的步骤来进行稳定的训练，每个步骤产生的输出分辨率都逐渐提高。我们还提出了一种新颖的面部注意力损失，并将其应用于每一步，以通过乘以像素差和热图值来更详细地恢复面部属性。最后，我们提出了最新版本的人脸对齐网络（FAN）的压缩版本，用于地标热图提取。通过提出的FAN，我们可以提取适合面部SR的热图，并减少整体训练时间。实验结果证明，我们的方法在定性和定量测量方面都优于最新方法。

背景：面部SR的主要挑战是恢复基本的面部特征而不会变形
方法：渐进式训练方法使每个步骤产生的输出分辨率都逐渐提高；提出面部注意力损失来更详细地恢复面部属性；提出了最新版本的人脸对齐网络（FAN）的压缩版本，用于地标热图提取
结论：实验结果证明，我们的方法在定性和定量测量方面都优于最新方法。

引言

人脸超分辨先前研究的方法

• 人脸超分辨率（SR）是特定于域的SR，旨在从低分辨率（LR）的人脸图像中重建高分辨率（HR）的人脸图像，同时还原面部细节。当将LR面部图像放大为高分辨率图像时，HR图像会遭受面部失真。面部的精细细节消失，导致对面部面部属性的误解。为了解决这个问题，先前的研究[13，26]将其他面部属性矢量嵌入网络特征图中，以反映超分辨面部图像中的面部属性。这些方法需要先获得FaceSR信息。但是，很难在野外获得附加信息。其他研究通过使用诸如人脸校正网络和先验估计网络等辅助网络来整合人脸标志信息。

我们的方法

• 与以前的工作不同，我们提出了一种人脸SR方法，该方法通过对地标区域施加强约束来更精确地还原原始面部细节。为了稳定地生成逼真的8x放大图像，我们采用了渐进式训练方法[2，11,19，20]，该方法逐渐使生成器和鉴别器同时增长。我们还介绍了新的面部注意力损失，这使我们的SR网络可以恢复准确的面部细节。注意力丧失适用于渐进式训练的中间步骤和最后一步。

注意力损失模块，提出新的FAN网络提取地标性热图

• 通过在每个步骤上施加注意力损失来限制输出，每个步骤的输出图像都会反映出更准确的面部细节。为了获得注意力的损失，我们从预训练的人脸对齐网络（FAN）中提取热图。提取的热图被用作地标的相邻区域的像素差的权重。而不是使用最新的FAN [4]，我们建议使用称为“提示”方法的FAN压缩网络，称为“ stilledFAN” [17]。蒸馏后的FAN可提供与原始FAN相当的性能，同时结构更紧凑。通过我们的方法，我们可以获得面向SR的地标性热图，并显着减少了总体培训时间。因此，我们的方法生成了超分辨的人脸图像，可以成功反映出人脸成分的准确细节。

术语“消融研究”通常用于神经网络,尤其是相对复杂的神经网络,如R-CNN。我们的想法是通过删除部分网络并研究网络的性能来了解网络。
数据集
质量评价

• 为了进行评估，我们在CelebA [14]和AFLW [10]数据集中对齐和未对齐的面部图像上测量了我们方法的性能。为了比较结果的质量，我们计算了平均峰值信噪比（PSNR），结构相似性（SSIM）[22]和多尺度结构相似性（MS-SSIM）[21]的常规测量。通过进行消融研究，我们验证了所提出的损失函数对于超分辨LR面部图像是有益的。我们通过将结果与以前的研究进行比较来证明我们方法的优越性。我们进一步进行平均意见评分（MOS）[12]测试以衡量感知质量。实验结果表明，我们的网络成功生成了高保真人脸图像，准确保留了人脸标志周围的原始特征。总而言之，我们的贡献如下：
  • 1、据我们所知，自然图像SR中使用了渐进式训练方法，但这是第一个利用渐进式训练方法进行人脸SR的方法。我们对SR网络的每个步骤都进行了约束，并生成反映面部组成部分细节的高质量面部图像。
  • 2、面部注意力损失使SR网络学会了通过关注面部标志的相邻区域来恢复面部细节，这一点得到了我们的超分辨结果的验证。
  • 3、我们使用基于提示的方法将最先进的FAN压缩到一个较小的网络中，借助蒸馏的FAN，我们能够提取出更有意义的地标热图，从而更适合面部SR任务并减少总体训练时间。

结论

• 我们提出一种新颖的面部SR方法，该方法可以完全反映面部细节。为此，我们采用渐进式训练方法来生成逼真的面部图像，并在每个步骤的不同指导下学习面部细节的恢复。此外，我们提出了一种新的面部注意力损失，该方法可以使邻近地标区域的面部特征得到较大的权重。因此，在超分辨图像中可以很好地表达面部细节。【原始的FAN缺点】但是，原始的FAN会生成包括封闭的界标区域在内的界标热图，从而导致超分辨率性能下降。因此，我们建议对面部对齐网络进行精馏，以生成更适合SR的热图。此外，我们的人脸对齐网络具有相对较轻的结构，因此总的培训时间从3天减少到1天。

实验结论

• 我们的实验表明，我们提出的方法可以恢复更准确的面部细节。特别是，我们的方法会产生高质量的面部图像，这些图像在感觉上与真实图像相似。

• 综上所述，本文提出的方法允许我们的人脸SR网络对具有更精确人脸细节的人脸图像进行超分辨。我们关注人脸的特定区域并提出一种获取适合人脸SR的热图的方法。

未来工作

• 如果开发出一种更好的方法来获得可以很好地代表面部标志性区域的热图，那么通过我们提出的方法，我们将能够获得更好的性能。由于我们的方法通过专注于特定区域来恢复丢失的信息，因此我们将能够通过将我们的机制应用于任何任务来恢复所需的信息，例如医学图像，卫星图像和显微图像的超分辨率，这需要恢复丢失的信息使用超分辨率。【我们的方法可以应用于其他领域】