人脸分割,72关键点识别,性别,年龄,表情预测,人脸检测多任务学习

深度学习擅长处理端到端学习,这里搭建一个网络模型,实现人脸面部分割,关键点识别,性别年龄预测,表情预测和人脸检测。

数据集

使用Helen dataset数据集用于面部11类分割,另外我标注了72个关键点,性别,年龄,表情以及人脸目标框。

数据集详情:https://github.com/midasklr/Face-Dataset

其中 jpg为原图, png是8位分割标签,txt中依次是年龄(1-79岁),性别(男女),表情(大笑,微笑,中性)和人脸框位置(x1,y1,w,h).

模型

使用ResNet50作为Backbone,人脸分割使用RefineNet分割部分;72个关键点和人脸box使用SSH融合特征后进行回归;人脸年龄预测划分了16个年龄区间(1-79岁,5岁间隔划分),是一个16分类问题,预测时候对输出logit和对应区间中值求和作为最终年龄;

性别和表情是一个简单的2分类和3分类问题,对多个loss联合训练。

结果

一些预测如图:

完整代码见:https://github.com/midasklr/FaceSegAttribute

猜你喜欢

转载自blog.csdn.net/IEEE_FELLOW/article/details/108160827