《Deep Facial Expression Recognition: A Survey 2018 CVPR》
https://blog.csdn.net/tender_li/article/details/107447585
1、预处理
检测人脸-裁剪-标定landmark-人脸对齐
数据增强(水平翻转,中心裁剪,加噪声,亮度饱和度变换,滤波器)
光照归一/直方图均衡 姿态归一化
2、方法:
a.Pre-training 和 fine-tuning ,避免模型过拟合。
b.提高鲁棒性
1)用表情图片的LBP格式作为输入,可以提高识别对光照的鲁棒性。
2)利用尺度不变特征来提高对姿态的鲁棒性。
3)将纹理、角度、颜色等信息组合作为输入可以提高性能。
4)使用人脸于表情相关的关键部位作为识别的依据。比如眉毛、眼睛、嘴巴。
5)利用中心差异向量方法获取表情图片内在信息作为输入。
c.优化损失函数
centerLoss: 最小化类内间距
1)Island loss:被正则化用来增加不同类之间的中心距离。
2)Locality-preserving loss(LP loss):使每个类的局部集群紧凑。
3)Exponential triplet-based loss:当网络更新时给difficult样本更高的权重。
4)(N+M)-tuples cluster loss:用来解决anchor选择和阈值验证困难的问题。
d.bagging /boosting /multi-task
3、难点
缺乏足够的多样性的训练数据和如何去除与表情无关因素(光照、头部姿态、身份信息)对FER的影响。
论文代码整理 https://github.com/EvelynFan/AWESOME-FER
疲劳检测:二分类任务/回归任务