小目标检测的增强算法
Augmentation for small object detection
摘要
近年来，目标检测取得了令人瞩目的进展。尽管有了这些改进，但在检测小目标和大目标之间的性能仍有很大的差距。本文在一个具有挑战性的数据集上分析了当前最先进的模型Mask RCNN，MS COCO。结果表明，小真实目标与预测锚之间的重叠度远低于期望的IoU阈值。本文推测这是由于两个因素造成的：（1）只有少数图像包含小对象，并且（2）即使在包含它们的每个图像中，小对象也不足以出现。因此，本文建议用小对象对这些图像进行过采样，并通过多次复制粘贴小对象来增强每个图像。它允许本文在大物体和小物体上权衡探测器的质量。本文评估了不同的粘贴增强策略，最终，本文在实例分割和小目标检测方面分别比MS-COCO上的现有方法提高了9.7%和7.1%。
1． Introduction
本文关注的是最先进的物体探测器Mask R-CNN[18]，一个具有挑战性的数据集，COCO女士。本文注意到这个数据集关于小对象的两个属性。首先，本文观察到数据集中包含小对象的图像相对较少，这可能会使任何检测模型偏向于更集中于中大型对象。其次，小物体覆盖的区域要小得多，这意味着小物体的位置缺乏多样性。本文推测，这使得当小目标出现在图像中不易被探测的部分时，目标检测模型很难在测试时间内推广到小目标。本文通过对包含小物体的图像进行过采样来解决第一个问题。第二个问题通过在包含小对象的每个图像中多次复制粘贴小对象来解决。粘贴每个对象时，本文确保粘贴的对象不会与任何现有对象重叠。这增加了小对象位置的多样性，同时确保这些对象出现在正确的上下文中，如图3所示。每幅图像中小物体数量的增加进一步解决了少量正匹配锚的问题，本文在第3节中对其进行了定量分析。与目前最新的基于MS-COCO的Mask-R-CNN方法相比，本文在实例分割和小目标检测方面分别取得了9.7%和7.1%的相对改进。
2． Related Work
实例分割实例分割超出了对象检测的范围，需要预测每个对象的准确掩码。多任务网络级联（MNC）[9]构建一个预测和屏蔽的级联。全卷积实例感知语义分割（FCIS）[23]是一个全卷积模型，它计算每个感兴趣区域共享的位置敏感得分图。[14] ，这也是一种完全卷积的方法，学习像素嵌入。Mask R-CNN[18]扩展了FPN模型的一个分支，用于预测掩模，并引入了新的不同裁剪操作，用于对象检测和实例分割。
可以通过提高输入图像分辨率[7,26]或将高分辨率特征与低分辨率图像的高维特征融合来处理检测小目标的小目标[36,2,5,27]。然而，这种使用更高分辨率的方法增加了计算开销，并且没有解决大小对象之间的不平衡。[22]取而代之的是，使用世代对抗网络（GAN）在复杂网络中构建特征，在交通标志和行人检测的背景下，这些特征在小物体和大物体之间是不可区分的。[12] 使用基于区域建议网络中不同分辨率层的不同锚定比例。[13] 根据锚定大小的正确分数移动图像特征以覆盖它们之间的间隙。[6,33,8,19]裁剪小对象建议时添加上下文。
3． Identifying issues with detecting small objects
在这一部分中，本文首先概述了MS-COCO数据集和在本文的实验中使用的目标检测模型。然后讨论了MS-COCO数据集的问题和训练中使用的锚匹配过程，这有助于小目标检测的困难。
4． Result and Analysis
5． Conclusion
本文研究了小目标检测问题。本文发现，小目标平均精度差的原因之一是训练数据中缺少小目标的表示。这尤其适用于现有的最先进的物体探测器，它要求有足够的物体供预测的锚在训练期间匹配。为了克服这个问题，本文提出了两种扩充原始MS-COCO数据库的策略。首先，本文展示了在训练过程中，通过对包含小对象的图像进行过采样，可以很容易地提高对小对象的性能。其次，提出了一种基于复制粘贴小对象的增强算法。实验证明，与Mask R-CNN在MS-COCO上获得的最新技术相比，实例分割和小目标检测分别提高了9.7%和7.1%。正如实验所证实的，所提出的一套增强方法可以在预测大小物体的质量之间进行权衡。