转载来源:https://blog.csdn.net/u011681952/article/details/81975467
(写的是真的很详细了,具体还是看这个链接吧。更加详细。)
《Look at Boundary: A Boundary-Aware Face Alignment Algorithm Supplementary Material》 网上好像不好找! 链接:https://pan.baidu.com/s/1o_rM1KXIbqEmyotId75nNw 密码:ay6d
《Look at Boundary: A Boundary-Aware Face Alignment Algorithm》
来源:清华 商汤
源码:https://github.com/wywu/LAB
目录
文章目录
0 Abstract
本文提出了一种基于边界辅助学习的Facial Landmark Detection方法。利用边界线作为人脸的几何结构来辅助特征点检测,与传统的基于热力图和回归的方法不同,本文方法从边界线处获取Landmark坐标,能有效消除landmark定义存在的歧义。
三个问题:
1)为什么用边界?
2)怎么用边界?
3)边界估计与特征点估计之间的关系
在开源数据集300-W、COFW、AFLW上均刷新了记录
本还提供了新的开源人脸对齐数据集:WFLW;该数据集共10000个样本,7500供训练,2500供测试;标签提供了人脸框信息、98个特征点信息、6种属性信息(姿态、表情、光照、化妆、遮挡、模糊)
1 Introduction
Face alignment是指如何检测出人脸特定关键点,是许多人脸应用的关键步骤,如人脸识别、人脸验证等;本文的目的是设计一种人脸对齐算法能够在不同数据集标注协议上,对姿态变化和遮挡没有约束。
与人脸检测和识别不同,人脸对齐是识别人脸的几何结构,其特征点与人脸边界有很强的相关性,且相对特征点,人脸边界更好定义一些,这就为我们定义边界来辅助人脸对齐创造了条件;引入边界将会对姿态变化和遮挡有很大改善,因为在姿态、遮挡情况下,某些特征点并不是角点,难以定位,而边界则对其有引导作用;此外,开源数据特征点个数不统一(19/29/68/86/106/194),并且将来人脸对齐特征点定义也难预料,但好在人脸结构是唯一的。
所以,本文定义了人脸边界来辅助人脸对齐,并采用13条边界线来表示人脸结构,每条边界,由不同数据集,足够多标注点插值而来,这样将不会受到标注协议影响,如下图,不同标注标准,获得相同边界。
本文算法包含2个结构:
1)人脸边界热力图估计网络G
2)人脸特征点回归网络R(边界辅助)
并在训练阶段加入了对抗学习思想,用边界判别器网络D提升边界的可靠性
2 Related Work
人脸对齐算法分类:
1)坐标回归模型(coordinate regression model)
2)热力图回归模型(heatmap regression model)
3 Boundary-Aware Face Alignment
人脸对齐辅助手段:
1)几何结构(geometric structure):文献【31/47/19】均有采取辅助手段进行人脸对齐工作,但其太粗糙,相对边界而言
2)人脸解析(face parsing):需要将每个部分连接为一个封闭回路,如此导致某些器官,如鼻子,被混合到整个人脸,如此定义是不恰当的,而边界线是不需要封闭的
整体结构
3.1 Boundary-aware landmarks regressor
特征点回归网络R:将边界信息融合到特征学习中
3.1.1 Boundary Define
13条边界线:外轮廓、左眉、右眉、鼻梁、鼻边界、左上眼皮、左下眼皮、右上眼皮、右下眼皮、上嘴唇上边、上嘴唇下边、下嘴唇上边、下嘴唇下边
定义 δ,就判断生成的质量不咋地
3.3.2 GAN
G(R)网络loss function:
D网络loss function:
GAN算法:
GAN算法,其目的就是监督生成更有效的边界热力图,具体这里就不详述了,有兴趣同学可以去关注GAN(生成对抗网络,火得一塌糊涂)
3.4 CrossDataset Face Alignment
本文引入的边界辅助信息,可以将不同标注协议的人脸对齐数据集,进行交叉训练,当然这只是一个副产品
4 Experiments
实验数据
1)Evaluation on 300W
2)Evaluation on WFLW
3)Cross-dataset evaluation on COFW and AFLW
5 Conculsion
效果杠杠的