A Deeply-initialized Coarse-to-fine Ensemble of Regression Trees for Face Alignment

ECCV2018:A Deeply-initialized Coarse-to-fine Ensemble of Regression Trees for Face Alignment
reference：https://www.52cv.net/?p=1260

人脸对齐与跟踪如何克服遮挡、姿态变化带来的特征点跳变？

思路

作者认为出现人脸特征点距离真实位置偏移过大，是因为算法初始化时的特征点不够鲁棒，于是提出一种使用深度卷积网络粗略估计特征点位置，结合3D人脸姿态估计与重投影确定特征点初始位置，然后使用经典的回归树集成（Ensemble of Regression Trees，ERT）方法提精位置。
通过深度学习+几何重投影方法初始化，结合传统特征点定位的回归模型ERT，在各个数据集上几乎都达到了最好的性能。

结构

DCFE：Deeply Initialized Coarse-to-Fine Ensemble

1. CNN模型计算每个特征点概率图，取最大相应的位置为特征点位置；
   
2. 计算3D人脸模型，通过POSIT计算人脸3D姿态，并将3D特征点使用计算得到的姿态矩阵重投影到人脸图像中，作为下一步的特征点提精的初始位置；
   
3. ERT非刚体形状估计，改进传统回归树模型由粗到细（Coarse-to-fine）迭代计算特征点位置，直至算法收敛。ERT的特征提取使用快速的FREAK像素比较二值特征。
   I_i：训练图像
   x_i^g:L个landmark的Lx2的坐标向量；
   v_i^g:L个landmark的Lx1向量可见性的二进制标签，
   w_i^g:带注释的landmark标签
   C_t^v:可见性的增量；
   u_t-1:当前shape的集合以及所有训练数据的相应可见性向量。FREAK：Fast Retina Keypont，特征点检测和匹配
   
   Feature extration:
   黑点：采样点；圆圈：感受野；感光细胞密度不同，采用不同大小，重叠的感受野模拟人眼视网膜获取更多特征
   
   Learn coarse-to-fine regressor:
   
   
   
   通过递归地将训练集分成左（l）和右（r）子节点来学习每个回归二叉树。树节点分割功能旨在最小化所选landmark中的等式2。
   
   一旦我们知道最佳分割，每个叶节点都存储平均残差μ_θ,b，作为到达该叶子的任何示例的回归的输出。