论文笔记–Asynchronous Corner Detection and Tracking
Ignacio A , Margarita C . Asynchronous Corner Detection and Tracking for Event Cameras in Real-Time[J]. IEEE Robotics and Automation Letters, 2018:1-1.
一种实时的基于事件相机的异步角点检测和跟踪方法
文章目录
摘要
最近出现的事件相机为高频跟踪带来了新的可能性，为传统视觉中的常见问题（光照变化、动态模糊）带来了鲁棒性，本文提出了一种新的、纯基于事件的角点检测器和新的角点跟踪器，证明了在事件流中直接检测和跟踪角点是可能的，同时与文献中最有效的算法相比，可以使检测速度提高4倍以上。论文的方法检测和跟踪角点的速度超过每秒750万次，有望在高速的场景中应用。
一、INTRODUCTION
机器视觉感知最重要的里程碑之一就是演示了使用单个移动摄像机实时估计自我运动和场景的能力-通常被称为同时定位和制图（SLAM）问题。在SLAM的基础上，开发了许多技术，但这些存在局限性，例如，当摄像机和场景是静态的时捕获冗余信息。 相反，在高度动态的场景或摄像机运动的情况下，此类摄像机通常捕获的信息不足
此时，受到生物启发的事件摄像机或动态视觉传感器（DVS）[2]，[3]的出现引起广泛的关注，在事件摄像机中，只要单个像素的强度变化超过指定的阈值，就会在该像素位置触发“事件”，并与图像阵列中的其余像素异步且独立地进行报告。 与固定帧速率范式不同，事件摄像机在异步事件流中以高时间分辨率（µs单位）压缩视觉场景，同时具有比传统摄像机更高的动态范围（高达120dB）和更低的功耗 。
然而，仅通过简单研究局部图像区域的绝对强度水平的分布就不能直接解决特征检测。 既定的描述图像区域的方法也被弄乱了，因此数据关联也变得很困难。在本文中，在异步运行的框架中提出了一种新颖的特征（即角点）检测器和跟踪器，即仅考虑事件流的顺序性质 ，以便充分利用事件摄像机在其高感应率方面的优势
本文贡献：
1.新颖的异步角点检测器“ Arc *”算法
2.高效的异步角点跟踪器
3.一个简单且通用的基于事件的过滤器
二、RELATED WORK
自从DVS的发展以来，已经有几项工作致力于识别事件流中要跟踪的相关功能。 第一种方法解决了简单特征的检测和跟踪问题，后一种基于特征的方法[9]和[10]利用场景的中间帧状表示。在这项工作中，我们提倡使用不需要为中间的基于帧表示的事件进行任何集成的算法。为了利用事件摄像机的真正功能，算法必须直接在事件流上异步运行，即在到达时处理每个事件，同时应对DVS的高数据速率进行实时执行
Inspired by eFAST, in this paper we present Arc*, a corner algorithm able to detect corners more than 4x faster eFAST and 50x faster than eHarris, while enhancing the repeatability of the corner detections. Additionally, we also propose an event-based corner tracker, demonstrated to operate successfully in real scenes while achieving real-time performance when compared to other state-of-the-art event-based trackers.
三、METHODOLOGY
该部分为泛读
A. Data Stream from Event-based Cameras
B. Filter of Redundant Events
要将新事件归类为角点事件，我们需要检查流中先前触发的事件。 由于探索所有先前的事件是不可扩展的，因此我们使用活动事件表面（SAE）[14]，[17]来总结任何给定时刻的事件流。 简而言之，将SAE S定义为S：（x，y）∈R2 7→tl∈R，其中tl是在像素位置（x，y）触发的最新事件的时间戳。 遵循[13]，[15]，[17]中的趋势，我们根据极性分离事件流，并在不同的SAE中独立处理这两套事件。
C. Event-based Corner Detection: The Arc* algorithm
D. Event-based Corner Tracking
Arc* algorithm：
四、EXPERIMENTS
我们在[1]的公开可用事件摄像机数据集上评估了拟议的管道。 该数据集使用动态和主动像素视觉传感器（DAVIS）[3]记录，其分辨率为240×180像素，并使用同一芯片捕获基于事件的线索和强度（基于帧）的图像
A. Ground-truth for Event Cameras
在我们的评估中，我们利用数据集中的可用强度框架，使用（原始）哈里斯探测器[16]来检测角点，并使用KLT [12]来追踪它们，类似于[18]。 我们详尽地细化了轨道，并使用三次样条将其在图像平面中的位置插值以匹配事件的时间分辨率，同时丢弃了嘈杂的短轨道。
在与准确性相关的指标中，我们仅考虑在任何基于强度的轨道的最多5个像素（在图像空间中）附近触发的事件。 在采用提出的过滤器的算法中，考虑的事件被进一步限制为在事件流中未过滤的事件。 将指标限制为接近基于强度的轨迹的事件子集，我们确保这些事件实际上与图像空间中具有地面真实性的真实角点相对应。 虽然DVS允许我们检测场景中的更多角点（例如，低强度对比度或运动模糊），但所提出的评估策略是可重现且可靠的，可以进行实地比较。 由于所选实验的记录速度越来越快，因此我们将每个实验的时间限制为前10秒，而忽略了图像，其中明显的运动模糊会影响地面真实轨迹的逼真度。
B. Filtering and Reduction to Corner Events
表I总结了数据流的减少量（占每个场景事件总数的百分比）。 建议的过滤器阻止40-50％的事件。 因此，使用我们的过滤器的修改版eHarris *和eFAST *在检测到的角点数量上有相等的下降
C. Corner Detector Performance
我们在图7中报告了每个检测器和每个场景的真阳性率（TPR）和假阳性率（FPR），其中包括“总体”作为所有场景的平均值，并对该数量加权 事件。
D. Corner Tracker Performance
在图1和图8中描述了使用Arc *检测到的拐角时所提出的跟踪系统的示例性实施例。 使用基于事件的轨迹和基于强度的轨迹之间的平均最小距离来评估跟踪器的“准确性”，仅考虑彼此之间距离小于5个像素的轨迹段，这等效于角点检测中的准确性评估
E. Computational Performance
五、CONCLUSIONS
本文提出了一种新颖的基于事件的可视前端管道，该管道可以对事件流进行预过滤，检测其中的角点并以完全异步的方式实时跟踪它们，从而可以充分利用事件摄像机的优势 。
所提出的基于事件的过滤器可以减少冗余信息的数量，甚至可以有效地提高现有的最先进的角点事件检测器的性能。
对基准数据集的评估表明，Arc *角点事件检测器可显著提高速度，即使在高速运动下也具有实时性能，并提高了可重复性和检测次数。
最后，提出的新型异步角点跟踪器还可以实时建立跨角点事件的对应关系，并可用于检索基于时空事件的特征轨迹。拟议中的管道为高速摄像机和场景跟踪开辟了令人振奋的新研究方向，以期将来开发完全基于事件的异步SLAM框架。