- 《Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach》
Hu Han, Member, IEEE, Anil K. Jain, Fellow, IEEE, Fang Wang,
Shiguang Shan, Senior Member, IEEE and Xilin Chen, Fellow, IEEE (PAMI- 2017)
Introduction：
人脸属性的识别在社会交互，提供了非常广泛的信息，基于人脸属性识别的场景越来越多，但是现有大部分方法限制在预测单个属性（如：age, hair style, clothing等），或者针对每一个属性学习一个model进行识别。为了解决上述的局限性，已经有很多工作在尝试联合预测多个属性。但是这些方法都有或多或少的不足：
- 考虑到了不同属性之间可能存在一定联系但是却可能造成属性间不同排列组合数量的爆炸式增长造成学习效率较低
- 没有考虑到不同类型属性的相关性和异构性 (e.g., ordinal vs. nominal and holistic vs. local)
- 不是端对端的学习方法
上图展示了人脸属性的相关性以及多样性，单个属性可以是多样的（根据数据类型或者数据量，以及语义等），单个属性之间也存在着较大的联系。
Proposed Algorithm：
本文提出一种Deep Multi-Task Learning (DMTL) approach来联合估计单张图像中的多个属性，考虑到了attribute correlation以及attribute heterogeneity。DMTL在前期会进行共享特征的提取，后期会分别学习得到特定类型的特征以进行多个属性的预测。共享的特征学习阶段自然地探索了多个task之间的相关性，这可以更加鲁棒以及有效的进行特征的表达。
主要贡献：
(i) 一种有效的多任务学习方法(MTL)，用于对大量数目的人脸属性进行联合估计;
(ii) 在单个网络中同时进行属性相关性和属性异质性的模型构建;
(iii) 研究MTL在跨数据库测试场景下的泛化能力
Deep Multi-task Learning
本文的目标是，用一个联合的预测模型，同时预测多个人脸属性。当大量face attributes给特征学习带来效率上的挑战的同时，也让我们有机会去探索属性之间的联系。例如，CelebA dataset中的各个属性之间就有很强的关联，如下图所示：
因此，利用多任务框架进行人脸属性的检测也就势在必得了。由于单个属性的异质性, 从face image space到attribute space的映射，通常是非线性的。但是the joint attribute estimation model却可以捕获到复杂和综合的非线性变换，而且CNN model是一种有效处理MTL以及nonlinear transformation learning的方法，我们最终选择基于CNN的多任务框架来完成该任务：
传统的DMTL model进行联合的属性预测可以通过最小化正则化误差函数来实现，目标函数如下：
这种方法通过并行构建多个CNN来学习多种属性，但是不同的属性之间可能存在相同的特征，它并没有充分考虑到属性之间的相互联系。因此，作者将上述表达式改为下面的形式：
其中，Wc 控制了人脸属性共享特征，Wj 控制了共享特征的更新
Heterogeneous Face Attributes Estimation：
尽管上述DMTL在特征学习过程中用到了属性间的关联性，但是单个属性的异质性仍然需要考虑。我们分别对待每一个异质的属性类别，但是每一个类别的属性都希望能够共享feature learning 以及 classification model。因此，作者重新设置了目标函数：
其中，G是异质属性类别的个数，Mg是每个属性类别中属性的数量;λg平衡每个属性类别的重要性(默认为1);Wg可以调节每个异质性属性类别的共享特性。
名词性属性和数值型属性：
作者采用分类的方式对名词属性进行处理，采用回归的方式处理连续性数值型属性，分别选择如下两种不同的loss：
加上全局属性和局部属性总共有四种属性类型，也就有四种类型的子网络
实验方案：
网络结构如下：
特征共享学习网络：5 Conv，1 BN，5 pooling layers，2 FC，
异质性属性特征学习网络：2 FC
网络输入：
注： 多了一个属性类别的信息
网络训练：
作者采用随机梯度下降和权值衰减联合优化共享网络和特定属性分类子网络的权值
实验结果：
小结:
1、能够对多种人脸属性进行联合估计
2、不仅考虑到了属性之间的相关性，也兼顾了不同类型属性的异质性
3、相较其他方法不仅有较高的准确性，同时有较为良好的运算速度