Fusion of Head and Full-Body Detectors for Multi-Object Tracking

Fusion of Head and Full-Body Detectors for Multi-Object Tracking
Abstract
为了在一个场景中跟踪所有人，基于检测的方法是非常有效的。但是只依赖于单检测器是由局限的，因为有用的图像信息可能会被忽略。本文阐述了如何把两个检测器融合到一个跟踪系统中。为了获得轨迹，我们提出把跟踪看作是一个带权图的标签问题，导致了一个二值二次规划。因为问题属于NP-hard的，所以，解只能被估计。基于Frank-Wolfe算法，提出一种新的solver来解决这一问题。
1.Introduction
本文提出了一种离线进行多目标跟踪的框架，用到了2中检测器类型：full-body detections和head detections。头很少受到姿态变化或者遮挡的影响，所以可以被准确的检测出来。当全身检测器由于遮挡检测不出行人的时候，因为头部可见，我们的跟踪器还是可以定位行人的。
我们通过求解一个二元二次问题（BQP）计算最好的标签，一种直接的求解方式是优化一个等价的二元线性问题（BLP）。然而，由于这个问题的高维度，这种BLP的计算代价很高。
我们提出使用Frank-Wolfe算法求解BQP的松弛解。通过使用FW的标准实现，结果往往是离二次优化的解相距甚远。因此，我们提出了几种关键的改进，就目标值和跟踪性能而言，在实践上可以产生更好的解。与此同时，所提的算法比标准的branch&bound 方法要快。最后，头检测和全身检测的融合效果分析说明了二者都用作输入资源可以由最好的跟踪准确度。这一融合可以去除与头检测不一致的FP的全身检测结果。此外，还可以恢复严重遮挡的行人。
Contributions：
①提出一种新颖的检测器融合的多目标跟踪系统，解决一个图标签的问题，并且可以表示成一个带有很少约束的BQP问题。（detector fusion）
②提出一种新的求解器，可以当用于离散优化问题的时候，显著提高标准BQP求解器的效果。（solver）
③ state-of-the-art
我们的求解器很快，也很准，可以直接在检测上进行优化，因此避免了可能引入轨迹的错误的传播。我们的公式需要很少的约束，可以用于多个检测。
2.Detector Fusion for Multi-Target Tracking
本节描述了以相关聚类的方式耦合多个检测器和检测的数据关联，以确保长期的时间一致性。因为相关聚类本身是NP-complete，我们企图寻找好的估计解。为这一聚类问题，我们提出使用BQP公式，可以用Frank-Wolfe求解器得到解的很好估计。特别的，我们计算BQP的松弛解，并且随后执行近似的步骤。Frank-Wolfe非常适合于带有线性约束的连续的二次问题，在每个迭代步骤都涉及求解一个线性优化问题。二值解然后就通过一个有效的近似步骤获得了。
当用于像我们模型这样的非凸问题时，Frank-Wolfe算法只求解了局部最优解。因此，简单的使用标准算法可能导致和全局最优解相差较远的解。因此，我们集中于通过3种方式加强Frank-Wolfe的解：
①正则化cost function
②在求解器算法中，以代数方式计算最佳步长大小
③介绍一种层次化求解模式，增强由Frank-Wolfe算法产生的解。
我们的正则项阻止了Frank-Wolfe算法快速落入局部最优状态。这一层次化的求解模式通过撤销或者连接离散解的集群而获得了改进。所提的方法并不是专门针对Frank-Wolfe solver。也能用于其他的估计算法。它还允许纠正由初始求解器引入的错误。
2.1Joint Data Association
我们把用两个检测器的数据关联看成是a graph labeling problem：考虑一个带权完全图。
2.2Frank-Wolfe Optimization
2.3Computing the Optimal Step Size
2.4Regularization of the Objective Function
2.5Hierarchical Solving Scheme
由于FW+r只提供一个局部最优，我们提出了一种新的层次化求解模式，通过去除、校正和连接聚类来增强FW+r的解，因此产生了一种改进了的目标值。我们的公式是通用意义上的，可以用于多种聚类问题，无需通过经验设置参数更新规则。
接下来展示所提求解模式的各个模块：
Correction Contraction和LabelExpand。
Correction Contraction：我们用重新打标签的策略纠正各种聚类的错误，这些错误或许是由于近似或者局部优化而引入的。
3.Regression Training
接下来，我们介绍了时间和空间的cost，描述了相同帧和不同帧属于同一个目标的两个检测之间的相似度。对于每一个cost类型，我们训练一个逻辑回归模型，以获得权重。
对于我们的跟踪系统而言，我们考虑2个输入资源：头和全身检测。
为了获得不同大小框的有意义的特征，特征需要在不同的尺度上进行构建。
4.Experimental Results
首先分析我们所提出来的求解器在速度和跟踪性能上的增益。
然后看检测器融合对跟踪性能的影响。
5.Conclusion
我们为多检测器多目标跟踪提出了一种全局公式，用头和全身的检测器可以达到很好的性能。提出把问题构建成为一个二次规划问题，可以通过Frank-Wolfe算法有效的解决。在三个方面改进这个求解器：
①通过提供完整和有效的最佳步长大小的计算来关注时间。
②通过重新设计目标函数并且最小化，产生更好的离散解。
③我们的分层解决模式提供了一个可行解，通常接近最优，但是易于集成，速度也很快。