LCGE论文阅读笔记

题目：Learning to hallucinate face images via Component Generation and Enhancement

中文：通过分量生成和增强学习使人脸图像幻觉

摘要：

• 我们提出了一种两阶段的幻觉方法。首先，我们使用CNN生成输入图像的面部分量。这些成分代表了基本的面部结构。其次，我们从高分辨率的训练图像中合成出细粒度的面部结构。这些结构的细节被转移到面部成分中进行增强。因此，我们在第一阶段生成面部成分以近似地面真相的整体外观，并在第二阶段通过恢复细节来增强它们。实验表明，我们的方法相对于最新方法表现良好。

背景：
方法：在第一阶段生成面部成分以近似地面真相的整体外观，并在第二阶段通过恢复细节来增强它们
结论：我们的方法相对于最新方法表现良好。

1、 引言

介绍人脸超分辨

• 人脸幻觉（FH）是一个特定领域的问题，它会通过低分辨率（LR）输入生成高分辨率（HR）人脸图像。与普通的图像超分辨率（SR）方法不同，FH利用特定的面部结构和纹理。与常规图像SR方法相比，它可以生成高质量的面部图像。这会激活从图像编辑到视频监控的一系列FH应用程序。更普遍的是，FH被用作面部相关应用程序的预处理步骤。】

传统的超分辨方法

• 最新的FH方法将面部细节从HR训练图像传输到LR输入。他们的目的是在全球或局部利用LR和HR图像之间的关系。解决方案之一是在输入图像和训练图像之间以像素精度对齐面部图像。可以建立训练图像上的密集映射对应关系，并以贝叶斯推理[Tappen和Liu，2012]或图像梯度[Yanget等，2013]的形式将HR面部细节转移到LR输入图像中。与使用常规图像SR技术生成的面部表情相比，传输的结果通常包含有关面部表情的更多详细信息。

超分辨结果取决于测试图像和输入图像的特征匹配。

• 尽管已经证明了成功，但FH结果的质量很大程度上取决于训练和输入图像之间的特征匹配。由于LR输入上的纹理有限，很难提取出诸如SIFT [Lowe，2004]之类的手工特征来进行精确描述，尤其是在面部组件（即鼻子，眼睛和嘴巴）周围。这样的限制阻止了这些特征以在训练图像中准确地建立HR对应关系。这会导致错误的详细信息传输，结果将是错误的。如图1所示，[b]中[Yanget等人，2013]生成的鼻子的形状与（f）中的地面真实情况的鼻子不同。

直接将CNN用于人脸超分辨是不可运行的，会导致丢失高频细节。

• 最近，已证明卷积神经网络（CNN）在图像SR中有效[Donget等，2015]。它被表示为稀疏表示的一种通用形式[Yanget等，2010]，旨在最大程度地减少网络输出与地面实况之间的像素差异。它可以在自然模式下获得最先进的性能，其中纹理图案均匀地驻留在低频基础和高频细节中。但是，由于组件细节的独特性，直接将CNN用于FH将模糊面部结构。如图1（c）和（d）所示，使用CNN [Donget等，2015]或ResNet [Lediget等，2017]模型生成的结果无法丰富鼻子周围的高频细节。同时，使用脸部图像微调他们的模型不能得到更好的效果。这表明由于域特定的特性，基于CNN的模型不能直接用于FH。

提出我们的方法

• 在本文中，我们学习通过分量生成和增强（LCGE）来使人脸图像产生幻觉。与现有的端到端CNN网络不同，我们提出了FH的两阶段框架。第一阶段学习映射功能以重建LR输入的面部结构，这有利于HR对应关系的建立，该映射过程由五个CNN制定。每个CNN对应一个面部组件（即眼睛，眉毛，鼻子，嘴巴和其余区域）。因此，输入的面部图像被分为五个子区域，并使用CNN独立重建。学习的人脸成分的优势在于丰富了纹理信息，减轻了LR图像的匹配难度。第二阶段，我们生成了用于训练和输入图像的人脸成分。并对每个输入组件执行逐块K-NN搜索。这样，我们可以准确地建立HR对应关系而无需面部对齐。然后我们回归合成具有细粒度细节的HR面部结构。但是，回归是针对不同的对象进行的，这与我们期望的输出在不同光照下合成了HR结构。最后，基于边缘感知的图像过滤，将来自HR结构的细节传输到面部组件。它可以成功恢复丢失的细节，以增强组件。因此，输出图像在整体外观和面部细节上都非常接近地面真实图像。这项工作的贡献概括如下：

贡献如下：

 - 我们建议学习深层的面部成分，这些成分包含用于输出的基本结构并减轻LR图像的匹配难度。
 - 我们提出了一种成分增强方法。可以从训练数据集中有效提取细粒度的面部结构，并将其细节转移以增强深度成分。
 - 对标准基准的定量评估表明，该方法相对于最新方法具有良好的效果。

3、方法

• 我们在图2中介绍了LCGE的流水线。我们使用CNN为输入的LR图像生成深层的面部成分。它们包含输出的基本结构，而细节无法完全恢复。这些成分有利于LR-HR对应的建立，因此可以有效地提取细晶粒结构。这些结构的细节被添加回去，以增强面部深层分量，以生成输出结果。

结论

• 我们提出了一种名为LCGE的FH方法，该方法集成了全局外观建模和局部特征匹配。与现有的采用手工特征进行贴片匹配的FH方法不同，LCGE产生深层面部组件去缩小LR输入和HR对应之间的差距。这样，丰富了面部纹理，减轻了匹配难度。然后可以有效地提取细粒度的面部结构，并将其详细信息传回以产生输出结果。大量的实验证明了所提出的LCGE方法与最新技术方法相比的有效性。
  

图1：FH和图像SR方法的性能

图2：LCGE算法的流程。 LR输入图像分为五个面部分量。使用对应的CNN对每个像素进行上采样以生成深层的面部成分。可以从HR训练图像中提取细粒结构。我们传输它们的细节以增强深层的面部成分以产生输出结果。

图3：通过数据集综合提取结构。我们使用CNN为训练图像和输入图像生成深层的面部成分。然后，对于每个输入组件补丁，我们从训练数据集中建立对应关系。通过组件补丁学习线性回归函数，并使用F映射HR训练补丁以生成提取结果