人群密度估计最新数据集NWPU-Crowd & 最新研究进展

人群密度估计-NWPU-Crowd数据集

该数据集是由Qi Wang等人于2020年1月10日公开,论文题为:NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting.

数据集开源链接: http://www.crowdbenchmark.com/

论文开源代码链接:https://github.com/gjy3035/NWPU-Crowd-Sample-Code

以往数据存在的问题

1. 数据集不足。基于CNN的方法都是需要庞大的数据集做支撑的,由于现存的人群密度数据集规模太小,基于深度学习的方法很难避免过拟合;

2. 没有一个相对公正的评价标准。像其他领域,KITTI,CityScapes和Microsoft COCO,允许研究人员提交测试集的结果进行公正的评价。所以一个公正的评价平台对于该领域的发展至关重要。

NWPU-Crowd数据集的优势

1. 目前为止在人群密度估计方面最大的数据集,拥有5109张图片和2133238个标注实体;

2. 内含一些负样本,比如极高密度的人群,这样可以提高训练模型的鲁棒性;

3. 图片的分辨率相比其他数据集更高;

4. 且单张图片的标注实体数量范围非常大,区间是[0,20033];

5. 提供了一个公平的平台网站,供研究人员提交测试集的计算结果,然后计算出MSE/MAE。

NWPU-Crowd与其他数据集的详细对比

NWPU-Crowd数据集展示

第一列:正常亮度下的典型样本;第二列和第三列分别是曝光和极暗情况下的样本;第四列是负样本,包括密度极高/其他非人群实体。

NWPU-Crowd数据集上进行实验

解释:“FS”表示没有引入预训练模型参数;S0 ∼ S4 表示五个数量级类别:0,(0; 100],(100; 500],(500; 5000]和 ≥ 5000;L0 ∼ L2 分别表示在测试集上的三个亮度级别:[0; 0:25],(0:25; 0:5]和 (0:5; 0:75];另外 speed 和 FLOPs 是在 input size = 576 × 768之上计算的;最后红、蓝、绿分别表示第一、第二、第三名。

备注:实验中,PCC-Net和BL都是基于官方代码和默认参数训练的。对于SANet,则是基于论文实现的C^{3}Framework。对于其他模型如:MCNN,CSRNet,C3F-VGG,CANNet,SCAR和SFCN,则是基于C^{3}Framework(Pytorch开源项目)重构的。

引入新的问题

1. 已有模型的抗噪声能力有待提高;现实场景很多时候都会有大量背景干扰因素,因此负样本对于模型的训练来说十分有必要;

2. 类别间影响有待解决;由于NWPU-Crowd数据集庞大,不同场景下的实体间外观差异极大,这对于训练模型是个不小的挑战;

3. 极高密度的人群密度估计仍是难题;已有的模型对于S4的结果表现仍然非常差。

人群密度估计-最新研究进展

C3F:基于Pytorch的开源人群计数框架

这个框架是由Junyu Gao团队研发出来的。

引自Junyu Gao在知乎上的介绍:“近两年,有关人群计数的文章呈现出爆炸式增长。然而,人群计数不像其他任务(目标检测、语义分割等)有着简洁/易开发的开源代码框架,大大降低了我们对于idea的验证效率。因此在2018年12月份,我萌生了自己搭一个人群计数框架的想法,尽可能兼顾当前主流数据集和主流算法。并于2019年3月底基本完成了主体框架。代码发布之后,由于缺少对于代码细节的文档介绍,issues和emails让人应接不暇。所以,在这里对该项目做一个代码层面上的介绍,并辅之以一些实验分析来帮助大家有效提高网络性能。更重要地,希望能够抛砖引玉,让大家利用C3F,更高效地研究出性能更好的人群计数网络,推动该领域的发展。”

上图为C3F的算法流程图。

原文的文末写道:“本项目旨在提供一个简单、高效、易用、灵活的人群计数框架,方便新手快速上手入门、资深研究者高效实现idea以及最大化模型性能。本技术报告则是对该项目的一个简单介绍,使大家能够对我们的项目有一个更深的理解,这样用起来也会更加顺手,最大化框架的使用度。”

下面实验同样引自Junyu Gao在知乎中的发表的原文:“将复现的所有算法在SHT B上的性能展示出来,方便大家做最终的对比。我们发现,得益于ResNet-101强大的学习能力,以其为Backbone的人群计数器在MAE和MSE指标上超越了其他所有算法。此外,我们还发现,对于有预训练参数的网络,甚至可以不需要对网络进行过多的设计,例如Dilated Conv、Multi-column Conv、Scale Aggregation等,就可以达到一个较好的结果。”

下面贴出他们的实验结果:

C3F开源项目代码地址:https://github.com/gjy3035/C-3-Framework

此项目最后更新于于2020年3月1日,基于Python 3 | Pytorch 1.0。

参考资料

1. Wang Q , Gao J , Lin W , et al. NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting[J]. 2020.

2. Gao J , Lin W , Zhao B , et al. C^3 Framework: An Open-source PyTorch Code for Crowd Counting[J]. 2019.

3. 知乎:C^3 Framework系列之一:一个基于PyTorch的开源人群计数框架

4. Github:gjy3035 / Awesome-Crowd-Counting

发布了6 篇原创文章 · 获赞 22 · 访问量 3762

猜你喜欢

转载自blog.csdn.net/Carson1145/article/details/105081750