论文 行人属性识别 Pedestrian Attribute Recognition: A Survey

https://arxiv.org/pdf/1901.07474.pdf

文章工作

(1)传统行人属性识别算法与基于深度学习的行人属性识别算法之间有什么联系和区别?我们从不同的分类规则中分析了传统的和基于深度学习的算法,如基于部件的、基于组的和端到端学习;
(2)行人属性如何帮助其他相关的计算机视觉任务?我们还回顾了一些人属性引导的计算机视觉任务,如人的再识别、目标检测、人的跟踪等,充分展示了其有效性和在其他许多相关任务中的广泛应用;
(3)如何更好地利用深度网络进行行人属性识别,属性识别未来的发展方向是什么?通过评估现有的个人属性识别,在此基础上,给出了一些有用的结论,并提出了一些可能的研究方向。

文章结构

Benchmarks中的数据集。

在这里插入图片描述

挑战点

在这里插入图片描述
在这里插入图片描述

常用数据:

在这里插入图片描述

做行人属性识别的常规手段

1 Multi-task Learning
缺点是各个子任务可能有一定关联性,模型不会考虑到。
在这里插入图片描述
下面的模型都属于Multi-task Learning:
在这里插入图片描述
2 Multi-label Learning
方法一:First-order strategy 是最简单的形式,可以直接将多类问题转化为多个二分类问题。该策略虽然取得了较好的效率,但不能对多标签之间的相关性进行建模,导致了较差的通用性。
方法二:Second-order strategy 取每个标签对之间的相关性,获得比一阶策略更好的性能。
方法三:High-order strategy 考虑所有的标签关系,通过对每个标签对其他标签的影响建模,实现多标签识别系统。该方法具有通用性,但复杂度高,在处理大规模图像分类任务时效果较差。

在这里插入图片描述
下面论文:
在这里插入图片描述

行人属性识别PAR综述

1 Global Image-based Models

ACN (ICCVW-2015) 论文5

DeepSAR and DeepMAR (ACPR-2015) 论文6

MTCNN (TMM-2015) [7]

总结:根据上述算法[5][6][6][7],我们可以发现这些算法将整个图像作为输入,进行多任务学习标准。他们都试图学习更健壮的特性表征共享使用特性,端到端培训或多任务学习方尽最大努力铰链的损失。这些模型具有简单、直观、高效等优点,对实际应用具有重要意义。然而,由于缺乏细粒度识别的考虑,这些模型的性能仍然有限。

2 Part-based Models

在这里插入图片描述
在这里插入图片描述

Poselets (ICCV-2011) [8]

RAD (ICCV-2013) [9]

PANDA (CVPR-2014) [10]

MLCNN (ICB-2015) [11]

AAWP (ICCV-2015) [12]

ARAP (BMVC2016) [13]

DeepCAMP (CVPR-2016) [14]

PGDM (ICME-2018) [15]

DHC (ECCV-2016) [16]

LGNet (BMVC-2018) [17]

3 Attention-based Models

HydraPlus-Net (ICCV-2017) [18]

VeSP A (ArXiv-2017) [19]

DIAA (ECCV-2018) [20]

CAM (PRL-2017) [21]

4 Sequential Prediction based Models

CNN-RNN (CVPR-2016) [22]

JRL (ICCV-2017) [23]

GRL (IJCAI-2018) [24]

JCM (arXiv-2018) [25]

RCRA (AAAI-2019) [102]

5 Loss Function based Models

WP AL-network (BMVC-2017) [26]

AWMT (MM-2017) [27]

6 Curriculum Learning based Algorithms

MTCT (WACV-2017) [109]

CILICIA (ICCV-2017) [110]

7 Graphic Model based Algorithms

DCSA (ECCV-2012) [28]

A-AOG (TP AMI-2018) [29]

VSGR (AAAI-2019) [30]

8 Other Algorithms

PatchIt (BMVC-2016) [31]

GAM (AVSS-2017) [33]

源码

A summary of the source code
AlgorithmSource Code
DeepMAR [6]https://github.com/dangweili/pedestrian-attribute-recognition-pytorch
Wanget al.[127]https://github.com/James-Yip/AttentionImageClass
Zhanget al.[36]https://github.com/dangweili/RAP
PatchIt [31]https://github.com/psudowe/patchit
PANDA [10]https://github.com/facebookarchive/pose-aligned-deep-networks
HydraPlus-Net [18]https://github.com/xh-liu/HydraPlus-Net
WPAL-Net [26]https://github.com/Y angZhou1994/WPAL-network
DIAA [20]https://github.com/cvcode18/imbalancedlearning

未来研究方向

1 More Accurate and Efficient Part Localization Algo-rithm
2 Further Explore the Visual Attention Mechanism
3 New Designed Loss Functions
4 Explore More Advanced Network Architecture
5 Prior Knowledge guided Learning
6 Multi-modal Pedestrian Attribute Recognition
7 Video based Pedestrian Attribute Recognition
8 Joint Learning of Attribute and Other Tasks

结论

本文从传统的行人属性识别方法到基于深度学习的行人属性识别算法,综述了近年来行人属性识别的研究进展。据我们所知,这是关于行人属性识别的第一篇综述性论文。具体来说,我们首先介绍了PAR的背景信息(定义和挑战因素),然后,我们列出了现有的PAR基准,包括流行的数据集和评估标准。在此之后,我们从两个方面回顾了可用于PAR的算法。多任务学习和多标签学习。然后,我们对PAR算法进行了简要的回顾,首先回顾了在许多其他任务中得到广泛应用的一些流行的神经网络;从全局、局部、视觉注意、顺序预测、新设计的损失函数、课程学习、图形模型等方面分析了基于PAR的深度算法。在此基础上,简要介绍了前人在结合人的属性学习和其他与人相关的任务方面所做的工作。最后,对本文的研究进行了总结,并从九个方面提出了可能的研究方向。

Guess you like

Origin blog.csdn.net/x1131230123/article/details/121351530