论文《ResnetCrowd: A Residual Deep Learning Architecture for Crowd Counting, Violent Behaviour Detection and Crowd Density Level Classification》
创新点:提出ResnetCrowd,用于人群计数、暴力行为检测和拥塞密度分类的
深度残差架构;多任务方法;
贡献:
数据集方面是构建了一个100张图片的数据集适用于多任务人群计数,并且这个数据集是第一个电脑视觉数据集,完全标注了人群计数、暴力行为检测和密度级别分类;
定量分析了多目标人群计数系统的好处;
解决问题:对群体分析的多目标学习方法还没有得到充分的调查,主要是因为缺乏一个适当标记的
多任务数据集;
Related Work
Crowd Counting:
大多数方法是训练计数回归,将像素值直接映射到一个计数估算值;像素级的基于热图的计数方法已经被证明可以提高人群的计数性能,从而应对高度拥挤的场景。
Crowd Behavior Recognition:
下面两篇论文都依赖于帧间的运动特性检测行为;
Kai Kang, Chen Change Loy, and Xiaogang Wang. Deeply Learned Attributes for Crowded Scene Understanding.
Tal Hassner, Yossi Itcher, and Orit Kliper-Gross. Violent flows: Real-time detection of violent crowd behavior.
Crowd Density Level Estimation:
一个拥塞场景的拥塞层次通常表示为离散(0-n)或连续值(0.0-1.0);最透明的方案是将离散密度级标签直接从真实的人群计数值中推断出来,产生一个具有主观性和人为误差最小化的直方图样式分布。
Multi Task Crowd Dataset
多任务人群数据集的
核心目标:生成一组适合于训练和验证一个模型的图像,用于同时计数、暴力行为识别和人群密度等级分类。
建造数据集的几个标准:
产生所需的多任务人群数据集的最有效方法是将新的标签应用到现有的数据集上。
数据集示例:
crowd heatmap的产生方式同MCNN中的方法;全部的GT图像均被下采样到160*90,目的是匹配ResnetCrowd模型中的预测heatmap分辨率;
ResnetCrowd
基于论文:Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun.Deep residual learning for image recognition.
Behaviour Recognition:
sigmoid activation;Binary cross entropy;
Density Level Classification:
Regression Based Crowd Counting:
Relu activation, Mean Squared Error;
Heatmap Based Crowd Counting:
total loss:
实验部分:
Conclusion
Future work will look to include unsupervised learning techniques to overcome the lack of labelled crowd data and further increase model generalisation.