Total variation models for variable lighting face recognition

摘要

  在本文中，我们提出了对数总变分(LTV)模型用于人脸识别在不同光照下，包括自然光照条件下，我们很少知道的强度，方向，或光源的数量。该模型能够对单张人脸图像进行分解，得到光照不变的人脸结构，并将其用于人脸识别。该模型受SQI模型的启发，具有更好的保边能力和更简单的参数选择。这个模型的优点是它不需要任何照明假设，也不需要任何训练。在使用Yale和CMU的PIE人脸数据库以及包含765名受试者的户外光照条件下的人脸数据库的测试中，LTV模型达到了很高的识别率。

1 引言

  光照归一化是计算机视觉和模式识别领域的一个重要研究课题。它最重要的应用之一是在不同光照条件下的人脸识别。[1]和[48]在实验上都已经证明，在人脸识别中，光照引起的变化比个体之间的内在差异更重要。各种人脸识别方法已经被提出，包括特征人脸[42]、Fisherface[5]、概率和贝叶斯匹配[25]、子空间LDA[49]、主动形状模型和主动外观模型[23]、LFA[27]、EBGM[45]、SVM[17]。然而，现有算法的性能对光照变化非常敏感。针对不同光照条件下的人脸识别问题，提出了多种方法。主要的方法有:光照锥方法[6]、[14]、基于球面谐波的方法[4]、[29]、[47]、基于商像的方法[35]、[34]、[43]、基于相关滤波器的方法[32]。然而，他们中的大多数的表现仍然离理想很远，但许多这些方法需要知识的来源或培训数据，这是不实际的大多数现实世界的场景。让我们看一些最近的方法为例:李的9点光[24]方法需要不同的图像之间的精确对准,Savvides的Corefaces[32]需要一些训练图像达到完美的结果,王等人的自商图像[43]的识别率仍有改进的余地。
  除了为人脸识别而设计的方法外，还有从一般图像中去除灯光效果的方法。最常见的,一个图像模型I(x,y)被认为是反射率R和照度效果L的乘积[19]。从输入图像I中获取R的问题是不适定的[30]。假设L的变化速度比R慢，同态滤波[38]通过对图像的对数进行高通滤波来分离速度快和速度慢的变化。然而，这个假设对于自然光照条件下的图像不成立，在自然光照条件下，阴影边界可能会使L发生突变，因此，这些方法会产生晕轮伪影。同样,Land的“Retinex”模型[22]使用I与低通图像L的比值作为R的估计。Jobson[20]通过结合几个低通副本L减少了人工光环。为了减少人工光晕，不连续性保持滤波可以用来估计L，如各向异性扩散[28],双边滤波[40],或均值漂移滤波[11]。相关工作包括Tumblin和Turk[41]使用各向异性扩散的LCIS, Durand和Dorsey[12]使用双边滤波，以及Brajovic[7]、[8]在变分框架内感知调整加权最小二乘。Kimmel等[21]和Elad等[13]对Retinex和相关的照明补偿方法进行了很好的综述。一些相关工作的人脸识别结果在[16]，[36]中有报道。这些工作大大减少了人工光环，尽管不是全部。然而，这些模型的参数选择大多是经验的和复杂的，其中参数的数量可以高达8[41]左右。
  在[44]，[43]中，Wang等人提出了SQI模型，该模型与Brajovic[7]的前一个想法相似。在他们的模型中，光照是通过对平滑的图像本身进行分割而归一化的。该方法非常简单，可以应用于任何单幅图像。然而，他们所使用的加权高斯滤波器在低频照明场中难以保持清晰的边缘。本文利用全变分模型的保边能力，克服了这一局限性。我们提出利用TV- l1模型[9]对图像进行分解。与现有的解决方案相比，该方案具有独特的优点，特别是参数选择简单。我们在第2.3节对TV-L1模型的原始分析和第3节的实验评估中展示了这些优势。

2 方法

  在本节中，我们将介绍对数总变分(LTV)模型，并解释其去除人脸图像的变化光照的方法。我们首先讨论反射率模型，然后分析TV-L1模型，这是提出模型的基础。最后，提出了LTV模型，并讨论了模型参数的选择。

2.1 反射模型

  根据我们的观察，小尺度面部物体(如眼睛、鼻子、嘴巴、眉毛)的形状、轮廓和相对位置是人脸识别的关键特征。由于不同的纹理(嘴唇、眼球、眉毛)和几何形状(鼻孔)，下鼻、嘴、眼睛、眉毛和下巴上或边界的表面反照率通常与大范围皮肤区域和背景的反照率不同。因此，为了得到这些反照率，我们提出了基于Lambertian模型与I=RL相似的计算方法，对任何光照条件下的表面(包括自然光照条件)求解如下方程:

其中I(x,y)是(x,y)处2D表面强度，ρ是反照率，S是(x,y)处最后的光产生的强度。与Lambertian表面相比，I=Aρcosθ,S(x,y)等于Acosθ，其中A是点光源的强度，θ是光源方向和表面法向量间的角度。也就是说，无论有多少光源和哪种光源，每个位置的强度都反映了它所接收到的光的强度，并且是倍增的。通过求解(1)得到ρ和S并没有给出完整的三维表面信息，但对于光照不变的人脸识别，我们更感兴趣的是输入人脸图像I中的反照率变化规律ρ。因此，问题被简化为我们如何从一个可能变化强度的给定表面I检索变化的模式。接下来，我们对LTV模型中用于获取小尺度面部特征值的TV-L1模型进行分析。

2.2 TV-L1模型

在众多的图像分解模型中，最近的TV-L1模型[3]、[26]、[9]特别适合于分离大尺度和小尺度的面部成分。我们将介绍这个模型并分析与我们的目的相关的属性。TV-L1模型将输入图像f分解为大尺度输出u和小尺度输出v，其中f、u、v是IR2中图像强度值的函数。由于u的水平集的边界比v的边界更简单，我们可以通过求解一个变分问题来得到u，从而使输出更加规则

其中∫|▽u|是u的全变分，λ是尺度上的标量阈值。记(2)的最优解为$u_{\lambda }$。有两种主要的数值方法来解决(2)。PDE方法[9]解决了$u_{\lambda }$作为稳定的欧拉方程的解决方案(2):

  PDE方法易于实现。然而,由于第二项$(f-u)/|f-u|$在f-u处是不平滑的,人工需要很小的时间步当系统接近其稳定状态。这造成了数字上的困难。这些困难可以通过使用更直接的方法[15]来避免，该方法将(2)转换为二阶锥程序(SOCP)，并使用现代内点方法[2]来解决它。SOCP算法获得了更好的精度，但需要更多的内存。
标准SOCP可以下列形式书写:

其中$K^{n_i}$是$n_i$维二阶锥。与线性程序的情况一样，SOCPs可以用内点方法在多项式时间内求解。
  

对不起我实在看不懂