2.《Crowd Counting with Decomposed Uncertainty》

论文地址

论文翻译

Abstract

$~~~~~~$在计算机视觉领域中对神经网络的研究已取得了可观的点估计精度。但是，估计中的不确定性很少得到解决。伴随量化的不确定性量化可以导致更明智的决策，甚至可以提高预测质量。在这项工作中，我们专注于人群计数领域的不确定性估计。我们提出了一种可扩展的神经网络框架，该框架使用自举系综量化了分解的不确定性。我们证明了所提出的不确定性量化方法为人群计数问题提供了更多的见解，并且易于实现。我们还表明，在许多基准数据集中，我们提出的方法要优于当前的最新方法。据我们所知，我们拥有适用于ShanghaiTech A和B部分的最佳系统之一，UCF-CC 50，UCSD，以及适用于UCF-QNRF数据集的最佳系统。

1. Introduction

$~~~~~~$计数问题是静止图像或视频帧中对象数量的估计。它出现在许多实际应用中，包括微观图像中的细胞计数，监视监视系统中的人群以及对森林的空中图像中的树木数量进行计数。尤其是在现代城市环境中，随着摄像机和监视系统的部署不断增加，人们对计算模块的需求日益增长，这些模块可以使用来自监视摄像机的实时视频来分析高密度人群。人群计数是这种自动化人群分析系统的重要组成部分。这涉及估计人群中的人数，以及人群密度在聚会整个区域的分布。这通常是在监督学习设置中完成的，其中提供了带注释的标签。最近，卷积神经网络(convolutional neural network, CNN)在计算机视觉的广泛任务中，如目标检测，图像识别，人脸识别，图像分割等方面都取得了成功。受这些成功的启发，许多基于CNN的人群计数方法被提出。与基于特征度估计技术相比，基于CNN的特征提取方法表现出了较好的性能。然而，现有的基于CNN的方法只提供计数的点估计(或密度图)，并不能解决预测中的不确定性，这些不确定性可能来自模型，也可能来自数据本身。通过不确定性量化对模型的输出进行概率解释非常重要。给定新的未标记人群图像时，如果模型的输出仅提供点估计值，我们可以信任该模型的输出吗？不确定性量化和点估计可以导致更明智的决策，甚至可以提高预测质量。
$~~~~~~$对于这些人群计数方法的实施者，不确定性量化也至关重要。通过量化预测置信度，可以明确处理不确定的输入和特殊情况。例如，人群计数模型可能会在给定场景的某些区域中以较低的置信度（较高的不确定性）返回密度图（或计数）。在这种情况下，从业者可以决定将图像或模型不确定的图像特定部分传递给人类进行验证。
$~~~~~~$尽管贝叶斯方法为处理不确定性量化提供了数学上可行的框架，但这些方法通常伴随着过高的计算成本。在这项工作中，我们提出了一个简单且可扩展的神经网络框架，该框架使用自举集合来量化人群计数的不确定性。我们工作的重点是：

• 据我们所知，这项工作是第一个解决不确定性量化的神经网络预测人群计数。我们的方法可以产生精确的不确定度估计。
• 我们提出的方法可在多个人群计数基准数据集上实现最新水平的性能
• 我们提出的框架是通用的，独立于底层网络的架构。结合其实现的简单性，它可以很容易地适应其他体系结构。

2. Related Work

$~~~~~~$以往关于人群计数问题的文献主要分为三类:基于检测的方法、基于回归的方法和基于密度的方法。
$~~~~~~$基于检测的人群计数是一种直接检测给定图像中的每个目标对象的方法。一种典型的方法是经常使用移动窗口来做为物体检测器。然后，图像中目标的数量会作为检测结果的副产品自动给出。这些方法通常需要训练有素的分类器才能从整个人体中提取低级特征。但是，在许多拥挤的场景中物体可能被高度遮挡，许多目标物体的比例可能截然不同，从而使检测更具挑战性。这些问题使基于检测的方法在人群密集的场景中不可行。
$~~~~~~$提出了基于回归的方法，以解决遮挡问题，而遮挡问题是基于检测的方法的障碍。基于回归的方法直接将输入的人群图像映射到计数的标量值，从而绕过显式的检测任务。特别地，学习了图像特征和人群数量之间的映射。通常，提取的特征用于生成低级信息，该信息由回归模型学习。因此，这些方法利用了更好的特征提取（如果可用）和回归算法来对计数进行聚类。例如，一些利用空间或深度信息并利用分割方法来过滤背景区域并仅在图像前景上进行回归计数。但是，这些基于回归的方法大多忽略了人群图像中的空间信息。
$~~~~~~$基于密度的人群计数最初保留了人群的计数和空间分布，并已被证明在人群场景中的计数是有效的。在对象密度图中，所有子区域的积分是图像中相应区域内的对象数。基于密度的方法通常更好地处理通过绕过每个对象的硬检测而严重阻塞对象的情况，同时还保留有关人群的一些空间信息。有人提出了一种学习图像特征和密度图之间线性映射的方法。有人提出了使用随机森林回归学习非线性映射的方法。但是，早期的方法仍取决于手工制作的功能。
$~~~~~~$基于密度的人群计数使用CNN。在最近几年中，具有密度目标的基于CNN的方法显示出优于基于手工特征的传统方法的性能。为了解决透视问题，利用多列网络，在每列中使用具有不同大小的卷积滤波器来生成密度图。作为解决视角问题的另一种方法，有人建议将输入补丁的金字塔带入网络。有人进行了改进，并使用交换层根据人群密度将人群分为三类，并选择3个回归网络之一进行实际计数。纳入了一个多任务目标，通过连接完全卷积网络和递归网络（LSTM）共同估计密度图和总数。有人使用全局和局部上下文来生成高质量的密度图。有人介绍了膨胀卷积以聚合多尺度上下文信息，并使用了VGG-16中更深的架构。有人提出了一种编码器-解码器网络，其中编码器利用尺度聚合模块提取多尺度特征，并且解码器通过使用一组转置卷积生成密度图。
$~~~~~~$当前技术状态的限制。尽管密度估计和基于CNN的方法在人群计数问题上表现出了杰出的表现，但人们很少注意评估预测性输出中的不确定性。通过不确定性量化进行概率解释非常重要，因为（1）对模型输出的理解不足可能会提供次优的结果，并且（2）神经网络可能过度拟合，因此仅基于点预测进行决策可能会提供不正确的预测， 虚假的高可信度。

3. Uncertainty in Neural Networks

$~~~~~~$关于贝叶斯神经网络的许多先前工作研究了基于参数贝叶斯推理的不确定性量化（我们将对贝叶斯神经网络的详细讨论推迟到附录中）。

3.1. Bootstrap ensemble

$~~~~~~$Bootstrap是在理论上保证情况下生成函数分布的一种简单技术。就我们可以适应的模型类别而言，它也是通用的。引导程序以其最常见的形式将数据集 $D$ 和函数 $f_…

θ$ 作为输入。
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$
$~~~~~~$