【论文阅读】Improving Person Re-identifification by Attribute and Identity Learning

导读

论文：pdf.sciencedirectassets.com/272206/1-s2…

代码：

本文可以算作行人重识别中的一个十分有特色的baseline。行人属性识别和和行人重识别的任务十分类似，只是细粒度些许不同。本文讨论的便是如何结合这两点。在进行re-id的同时预测属性。

简介

1. 为 Market-1501 数据集和 DukeMTMC-reID 数据集手动标记了一组行人属性。
2. 提出了一种新的属性行人重识别 (APR) 框架。它学习了用于行人重识别和属性识别的判别性属性。
3. 引入了属性重加权模块（ARM），它根据学习到的属性之间的依赖和相关性来校正属性的预测。
4. 提出了一种属性加速过程，通过从查询图像中过滤出具有不同属性的图库图像来加快检索过程。

在两个大规模数据集即 Market-1501和 DukeMTMC_reID上，与最先进的 re-ID 方法相比，提出的算法获得了具有竞争力的准确性。同时还展示了算法对于属性识别任务的基本模型性能的提高。

方法

首先要介绍两个baseline的方法，然后再来介绍本文的方法。

baseline1 ID-discriminative Embedding (IDE)

IDE是一个多粒度的re-id网络。简单来说，这个网络使用ResNet-50前三层提取图像的基础特征，将之后的后续部分划分为3个独立的分支，即在高层次的语义级特征作者设计了3个独立分支。第一个分支负责整张图片的全局信息提取，第二个分支会将图片分为上下两个部分提取中粒度的语意信息，第三个分支会将图片分为上中下三个部分提取更细粒度的信息。

Attribute Recognition Network（ARN）

ARN是本文提出来的一个baseline，这个网络只被用于带有属性的数据集上训练。将resnet50进行属性的分类。

Attribute-Person Recognition Network（APRN）

总览

APRN包含了两个预测部分，一个是用来预测属性，一个是来预测身份。使用cnn从给定的图像抽取特征。然后APR会根据抽取的特征来预测特征，这里需要计算真实标签和预测标签之间的损失。第二部分利用属性预测作为身份预测的额外线索。

简单来说，APRN会先计算单独属性的属性损失，然后这些损失会被拼接并输入到属性重权重模块（ARM）。而ARM的输出会和全局图像的特征进行拼接，最终的识别是简历在局部和全局特征的串联上的。

Attribute Re-weighting Module（ARM）

属性重权重模块，主要来学习属性之间的相关性。例如，当“粉红色上衣”和“长发”的预测分数非常高时，网络可能倾向于增加属性“女性”的预测分数。

$c=Sigmoid(v\breve{a}^{T}+b)$

其中 $\breve{a}$是图像被预测的属性特征向量, $v$和 $b$都是可以学习的参数， $c$是置信度。

$a=c·\breve{a}^{T}$

则 ARM 模块通过将置信度 $c$和预测向量 $\breve{a}^{T}$逐点相乘得到新的预测分数 $a$。 然后连接全局身份的图像，进一步进行身份预测。

损失函数

属性预测的损失函数：

身份预测的损失函数：

总体的损失函数：

其中 $\{f_{A_{j}}(w_{A_{j}}; \phi(\theta;x_{i})) \}$是输入的特征， $a_{j}^{j}$是属性 $y_{i}$是身份。

属性加速

对于 Re-ID 系统来说计算检索距离是一个很大的开销。通过属性预测结果过滤掉 gallery 中与 query 属性不同的数据，将加速检索计算过程。属性过滤的具体过程如下：

首先设定一个阈值 ，如果某个属性的置信度 ， 则认为该属性是可靠的。检查 query 和 galley 是否对该属性具有相同的预测。 如果不是，则从 galley 中删除该候选图像。

在实际应用中，阈值的选择需要权衡效率和准确性。因此存在两种选择策略：激进的策略是设置较小的阈值（接近0），这样会移除大部分候选图片，适用于速度优先的情况。保守的策略是设置较大的阈值（接近1），仅移除少量图片。

在 Market-1501 的实证研究中，通过将阈值设置为 0.7，将检索过程加快了十倍以上，准确度下降了 2.92%。

实验证明

对比实验

文章对两个大规模 Re-ID 数据集 Market-1501 和 DukeMTMC-reID  以及一个属性识别数据集 PETA  进行了实验。 Market—1501： 其中-代表手工提取的特征，*是自己设计的网络，

Duke：

PETA

消融实验

属性的影响

ARM的影响

其中 $\lambda$是属性的影响程度。

属性加速的影响