《Morphable Model For The Synthesis Of 3D Faces》翻译

Introduction

计算机辅助人脸建模仍然需要大量的专业知识和手工控制，以避免不现实的，非人脸的结果。人脸合成、面部动画或个体的一般面部变化所存在的大多数缺陷，可以被描述为：在不同的面孔中找到对应的位置的问题，或从现实面孔中分离面孔，永远不可能出现在现实世界中的问题。对应问题对于所有的变形技术都是至关重要的，无论是将运动捕捉数据应用于图像或三维人脸模型，还是从图像中提取的大多数三维人脸重建技术。在一张脸上标记的有限数量的特征点，如鼻尖、眼角和脸颊上不那么突出的点，必须精确地定位在另一张脸上。手动标记的特征点的数量因应用程序的不同而不同，但通常在50到300之间。

只有对所有这些点进行正确的对齐，才能实现可接受的中间变形、将运动数据从引用映射到新模型，或者将3D人脸模型调整为2D图像，以实现“视频克隆”。人类的知识和经验是必要的，以弥补个别面孔之间的差异，并确保有效的位置分配在不同的面孔。目前，自动匹配技术只能用于非常突出的特征点，如眼角和嘴角。

人脸建模中的第二种问题是自然人脸与非人脸的分离。因此，人类的知识更为重要。许多应用程序涉及设计全新的自然面孔，这些面孔可以出现在现实世界中，但没有“真实的”对应物。另一些则要求根据年龄、体重的变化对现有的脸部进行处理，或者只是强调脸部的特征。这样的任务通常需要耗费时间的手工工作与艺术家的技能相结合。

在本文中，我们提出了一种参数化人脸建模技术，它可以帮助解决这两个问题。首先，可以创建任意的人脸，同时控制生成人脸的可能性。其次，该系统能够计算新面孔之间的对应关系。利用三维人脸大数据集的统计量，建立可变形人脸模型，应用模式分类方法恢复人脸变化的领域知识。形态人脸模型是一种基于大量三维人脸扫描的线性组合的多维三维变形函数。在计算平均人脸和数据集的主要变化模式时，对变形函数进行概率分布，以避免不可能的人脸。我们还通过评估人脸空间中每个属性的范例脸的分布，得到了人脸属性的参数描述，如性别、独特性、“钩”鼻子或人的体重。

建立了一个参数化的人脸模型，该模型几乎可以生成任何人脸，对应问题转化为数学优化问题。新面孔、图像或三维人脸扫描，可以通过人脸模型函数最小化新面孔与其重建之间的差异来进行注册。我们开发了一种自动调整模型参数的算法来优化重建目标，只需要最少的手动初始化。匹配过程的输出是一个高质量的三维人脸模型，与我们的可变形人脸模型完全对应。因此，模型函数中参数化的所有人脸操作都可以映射到目标人脸。我们在模型函数中获取的关于人脸形状和纹理的一般先验知识，即使只有一张图片，也足以对人脸的整个三维形状和纹理做出合理的估计。将该方法应用于人的多幅图像时，重建效果几乎达到激光扫描的效果。

1.1前期及相关工作

我们研究方法的关键部分是人脸的广义模型。与DeCarlos等人的[10]方法类似，我们根据原型人脸的约束条件来限制允许人脸的范围。然而，我们没有使用一组有限的测量值和一组面部地标之间的比例，而是直接使用激光扫描获得的样本面部密集采样的几何形状。密集的面部几何建模(每个面部有几千个顶点)直接导致了曲面的三角剖分。因此，不需要变分曲面插值技术[10,23,33]。我们还添加了人脸之间纹理变化的模型。morphable 3D人脸模型是Parke[26]引入的人脸几何插值技术的后续扩展。通过自动计算单个三维人脸数据之间的对应关系，我们可以将人脸表示中使用的顶点数量从几百个增加到几万个。此外，我们可以使用更多的面，从而在数百个“基”面之间进行插值，而不仅仅是几个。这种扩展的可变形人脸模型的目标是将任何人脸表示为有限的人脸原型基集的线性组合。将任意人脸表示为“原型”人脸的线性组合(morph)，首次用于电信[8]中的图像压缩。开发了基于图像的线性二维人脸模型，利用原型人脸的大数据集进行人脸识别和图像编码[4,18,37]。
已经采取了不同的方法来自动化构建morphable模型所需的匹配步骤。一类技术基于光流算法[5,4]，另一类技术基于主动模型匹配策略[12,16]。将这两种技术结合起来应用于[36]图像匹配问题。本文将该方法推广到三维人脸匹配问题。
不同的三维人脸数据之间的对应问题已经由Lee等人研究过。它们的形状匹配算法在几个方面与我们的方法有很大的不同。首先，我们在高分辨率下计算对应关系，同时考虑形状和纹理数据。其次，我们没有使用物理组织模型来限制网格变形的范围，而是使用示例人脸的统计数据来保持变形的合理性。第三，我们不依赖于专门设计用来检测面部特征的程序，比如眼睛、鼻子。
我们的一般匹配策略不仅适用于三维人脸扫描，而且适用于二维人脸图像。与之前的[35]方法不同，morphable 3D人脸模型现在直接与图像匹配，避免了生成中间2D morphable图像模型的麻烦。因此，头部朝向、光照条件等参数都可以是自由变量，可以进行优化。使用它们的值的粗略估计作为自动匹配过程的起点就足够了。
大多数“人脸克隆”技术，即从一个或多个图像重建三维人脸模型，仍然依赖于人工辅助来匹配可变形的三维人脸模型与图像[26,1,30]。Pighin et al.[28]的方法展示了通过将一张人脸的多个图像与一个3D人脸模型进行匹配的照片合成人脸和面部表情所能达到的高度真实感。我们的自动匹配过程可以用来代替手动初始化步骤，其中几个对应的特性必须在呈现的图像中标记。
对于人脸动画，提出了多种方法。要获得一个完整的概述，我们再次参考帕克和沃特斯[24]的书。这些技术可以大致分为依赖于面部肌肉物理建模的技术[38,17]和将之前捕捉到的面部表情应用于面部的技术[25,3]。这些基于性能的动画技术通过跟踪粘在人脸上的标记来计算人的不同面部表情之间的对应关系。为了获得逼真的人脸动画，使用了多达182个标记[14]。直接在没有标记的人脸上工作，我们的自动化方法将这个数字扩展到它的极限。它将人脸模型中所有可用顶点的数量与图像匹配。由此产生的密集对应字段甚至可以捕捉皱纹的变化，并将这些变化从一张脸映射到另一张脸。

Databases

所有的脸都没有化妆，没有配饰，也没有胡须。受试者戴着浴帽进行扫描，然后用数码技术移除。扫描的额外自动预处理包括耳朵后面的垂直切割，肩膀的水平切割，以及使每张脸在空间中处于标准方向和位置的标准化程序，这对大多数头部来说不需要人工干预。得到的面由大约70,000个顶点和相同数量的颜色值表示。