多模态(RGB-D)——Face Depth Estimation

版权声明: https://blog.csdn.net/u013841196/article/details/82941051
  • 《Improving 2D Face Recognition via Discriminative Face Depth Estimation》
    ICB 2018,Jiyun Cui, Hao Zhang, Hu Han, Shiguang Shan, and Xilin Chen.

1.引言:
1).RGB-D人脸识别无法避免的问题:模态缺失或不可用
在这里插入图片描述
2).可能的解决方法:深度图像生成
在这里插入图片描述
3).可能采用的方法:
在这里插入图片描述
参考:
E. Shelhamer, J. Long, T. Darrell. Fully Convolutional Networks for Semantic Segmentation. TPAMI, 2017.
Du et al, Articulated Multi-Instrument 2D Pose Estimation Using Fully Convolutional Networks, TMI, 2017.

2.正文:
本文作者提出了一种具有可区分性的人脸深度估计方法来提升2维人脸识别的准确率,
网络结构较为简单,通过FCN从RGB中重建出depth,之后用估计出的depth送入CNN中进行判别,迫使估计出的depth具有可区分性。最后识别效果RGB+estimated depth要好于单纯的RGB。其网络结构如下:
在这里插入图片描述
上面是FCN网络:

  • 包含8 conv. 和3 deconv. Layers
  • 输入图像尺寸:2242243
  • 输出图像尺寸:2242241
  • 损失函数:L2 loss

下面是CNN网络:

  • VGG-11 network,8 conv. 和 3 FC Layers
  • 损失函数: softmax

整体损失函数:
在这里插入图片描述
所生成的深度Z,既要和真实深度相比具有较小的误差,又要保持不同人的区分度。
注意: 由于L2loss远远大于softmaxloss,在训练时会将L2loss乘以0.001。

3.数据预处理:
在这里插入图片描述
4.实验结果:
评估标准:(1)估计出的深度图用MAE作为评估指标,(2)人脸识别准确率
(1)深度生成结果的可视化与MAE误差
在这里插入图片描述
在这里插入图片描述

(2)将所生成的深度用于RGB-D人脸识别
在这里插入图片描述

5.参考:
报告人:韩琥
报告:《多模态人脸识别与属性学习》
主页:https://sites.google.com/site/huhanhomepage

概述:主要介绍了在多模态和跨模态人脸识别方向的若干研究进展,包括RGB-D多模态互补特征学习、夜间远距离人脸识别、模拟画像与照片跨模态识别和多模态融合的复杂场景人脸识别。


注:博众家之所长,集群英之荟萃。

猜你喜欢

转载自blog.csdn.net/u013841196/article/details/82941051