论文阅读 Look at Boundary: A Boundary-Aware Face Alignment Algorithm

Abstract

整篇论文利用边缘来辅助landmark点的定位

Contribution

1、文章中的组件首先是一个提取边缘的网络，用的是hourglass，融合了人体姿态的几何变换核那篇文章，不过在那篇文章的基础上，作者不仅仅在不同的边缘之间进行message passing，在不同的stack的预测出来的结果上也进行了message passing，作者认为hourglass每一个小单元预测出来的结果的含义是不一样的。
2、用对抗网络来判断生成边缘的好坏
3、将边缘融合进landmark点的预测中

Network

三个组件

• Boundary-Aware Landmark Regressor
• Boundary Heatmap Estimator
• Landmark-Based Boundary Effectiveness Discriminator

制作边缘标签

假设数据集中一共有L个landmark点，$S=\{s_l\}_{l=1}^L$。对于这L个关键点，又可以划分为K个子集，也即K个边缘，$S_i \subset S,i=1,...,K$,对于每一个子集$S_i$，通过差值获得更加浓密的边缘曲线，这样生成了$B_i$,然后$B_i$生成distance map $D_i$,然后由$D_i$生成$M_i$，也即gt ,$3\sigma$作用在$D_i$上面使得更关注与边缘区域

其中$D_i$的制作作者说是用了距离变化，个人理解是计算图像中的每个点距离对应的边缘的距离

边缘和landmark融合

首先边缘需要和Input image结合，结合的方式如下：

然后边缘与中间的特征的结合。作者通过实验证明和中间结果融合的越多，效果越好。

都是普通的特征融合，没什么好介绍的。

作者运用了message passing

参考论文Structured feature learning for pose estimation
不一样的是，作者不仅仅在不同的边缘map间进行消息传递(一共K张map),在不同的预测stack间产生的map间又进行了纵向的message passing，没什么说的也。

对抗学习来是的边缘更加鲁棒和尖锐

MSE损失是的边缘比较模糊。好的边缘有利于landmark点的预测，不好的边缘则不利于landmark点的预测，所以作者通过landmark点预测的好坏来判断边缘质量的好坏。对于预测出来的$\hat M$，对应的关键点的集合是$\hat S$,gt 的distance map是Dist，$d_fake$的定义就是

$\theta$是一个阈值，$\delta$是一个概率阈值，意思是说某一张边缘图预测出来的对应的关键点在Dist图上的值，也即距离边缘的距离响应小于$\theta$的概率小于$\delta$，就判断生成的质量不咋地。这个时候在最小化式5的对抗损失的时候，就变成了最小化D(G(I)).反之如果边缘的距离响应$\theta$的概率大于$\delta$就说明生成的边缘可以以假乱真，这个时候在最小化式5的对抗损失的时候，就变成了最大化化D(G(I))
作者运用对抗学习来使得边缘学习的更加有效哈

M是gt,然而G(I)是生成的heatmap

算法流程