《Deep Alignment Network: A convolutional neural network for robust face alignment》
目录
0 基本信息
1）作者: Marek Kowalski,Jacek Naruniec,and Tomasz Trzcinski
2）机构: Warsaw University of Technology
3）来源: https://arxiv.org/abs/1706.01789
1 中心思想
DAN是一种人脸对齐的方法，采用级联神经网络结构，充分利用人脸的全局信息而非局部信息，使其效果优于现有的人脸对齐方法。
该方法的总体思想为如下几步：
1）DAN 参考CSR的框架，通过前向深度网络提取特征代替人工特征，训练前向网络得到关键点位的偏差代替CSR中的回归器
2）用级联的网络结构来实现CSR中的迭代
3）利用人脸全局信息T(I)、H、F作为前向网络的输入，得到关键点位的偏差
4）构造级联网络结构
5）分级训练网络，每级网络loss停止收敛时，训练下一级网络。
2 相关研究
CSR：以标准人脸关键点作为初始值，通过迭代来修正关键点的位置。
缺点：因为使用局部特征（关键点周围的局部信息），人工特征（SIFT、LBP），易使模型陷入局部最优解。
SDM：SIFT特征+线性回归器
LBF：稀疏特征+线性回归器
CFSS：uses SIFT features，coarse to fine over several iterations.
MDM：fuses the feature extraction and regression steps of CSR into a single RNN that is trained end-to-end.
3 关键要点
1）FEED FORWARD NN
作用：
提取人脸的全局特征，替代CSR中的特征提取器Φ；
获得与标准人脸最接近的点位偏差，替代CSR中的回归器R
输入灰度图I以及标准关键点模板S0,预测得到新的关键点位置S1，其网络结构如下，输出136用于预测68个关键点
2）CONNECTION LAYERS
作用：
产生相似变换矩阵T及其逆矩阵；
产生前向深度网络的输入：T(I)、H、F。
计算S1到S0的相似变换矩阵T1，通过T1对图像进行校正得到T1(I),对关键点进行变换得到Heatmap H1，fc1层映射到112*112的特征图F1
Heatmap:利用关键点热力图通过CNN预测新的关键点偏差。
Feature:充分利用人脸的全局信息特征，是Heatmap的信息补充。
3）级联网络结构
作用： 通过级联网络替代CSR中的迭代处理过程。
4 效果
GeForce GTX 1070 45fps
DAN在Menpo test set中的效果
DAN在IBUG dataset中9种很困难的人脸对齐效果
