事件相机单目标定的相关研究

本文首发于公众号：【事件相机】，事件相机单目标定的相关研究

传统相机的单目标定只是标定内参（intrinsic）和畸变参数（distortion），标定方法也非常多。这里简单介绍下事件相机标定的相关内容。注意，如果你的事件相机能输出灰度图，例如DAVIS或ATIS，则完全可以采用传统方法标定。本文仅讨论纯事件如何进行标定。（本文仅用于科研交流，如有侵权请联系删除）

一、标定需要标什么？

首先要明确，事件相机标定，需要标什么？当然最重要的还是内参和畸变，除此之外，我见过的标定还有：时间戳的固定偏差、像素级对比度阈值(Biased Contrast Threshold)等。下面首先介绍最重要的相机内参畸变标定，再介绍这两个标定。

二、相机内参和畸变标定

我将目前的标定方法大致分为三类：闪烁图案标定、图像重建标定、以及直接特征提取标定。

1. 闪烁图案标定

这是一种经典的方案，早期的标定基本都采用这种方法。由于事件相机无法拍摄静止的图案，那么就让图像亮暗变动起来。一般采用：闪烁电脑屏幕（闪烁视频）和闪烁LED两种。

采用闪烁的LED灯拍摄图像后通过亮斑检测提取中心进行标定[1]，这种方法可以取得的精度可以，而且可以从硬件上同步控制相机拍摄和闪烁。但制作成本较高，通用性不强。

(图：双目同时观测一块LED板，单目原理相同。图片来自[1])

闪烁电脑屏幕法，即快速改变电脑屏幕的亮度，或者播放一段亮度变化的棋盘格视频，从而获得棋盘格图像。这种方法更加通用便捷，一些事件相机厂商提供的标定方法都是采用这种方法：iniVation[2]，Prophesee[3]。

（图：手持笔记本屏幕拍摄。图片来自[4]）

2. 图像重建标定

随着从事件重建完整图像的技术的发展，一些标定方法首先将event数据流重建出frame图像，然后回到原始的普通相机标定方法。例如采用E2VID方法重建[5]。
（图：event通过e2vid后重建的棋盘格图像。图片来自[4]）

3. 直接特征提取标定

是一种比较新的思路。采用普通标定板，在事件相机运动过程中直接通过event数据提取特征，然后进行标定。参考论文[6]。作者指出这种方法主要优点就是，不需要复杂的标定场景，传统的标定板即可解决。
（图来源[7]，对应论文[6]）

三、时间戳的固定偏差标定

芯仑的CeleX相机说明文档指出需要采集FPN以精确获得时间戳，具体描述如下：
（图片来自《芯仑科技SDK快速使用说明2.0》）

可以理解为，时间戳并不是非常精确的，可以提前标定下看每个像素的时间戳的偏差，在最终使用时可以减去偏差。但这个偏差具体能差出来多少，我也并没有概念，感觉影响可能并不大。

四、像素级对比度阈值标定

一般大家都认为，当我们把对比度阈值设置为某个数值后，所有像素都会按照这个阈值产生事件。但在实际当中，这是不现实的。论文[8]提出了一种精准估计每个像素对比度阈值的方法。这篇论文对事件相机噪声分析有一定的参考意义。
（图：(a)原图，(b)按照统一对比度阈值直接积分得到的图像，©标定后积分到的图像[8]）

五、总结：事件相机内参畸变标定方法比较

论文[4]中详细介绍一下几种标定方法的优缺点和注意事项，这里总结重要结论如下：

• 图像重建标定法可以取得高于其他方法的精度
• 图像重建标定的图案建议采用棋盘格，AprilTag格式重建难度大，标定精度差
• 闪烁屏幕的方法效果较差，由于屏幕频闪等原因，不建议采用

参考文献：

[1] Dominguez-Morales, Manuel J. and et al. (2019): Bio-Inspired Stereo Vision Calibration for Dynamic Vision Sensors. In IEEE Access
[2] https://github. com/uzh-rpg/rpg_dvs_ros/tree/master/dvs_ calibration
[3] https://docs.prophesee.ai/stable/metavision_sdk/modules/calibration/index.html
[4] M. Muglikar; M. Gehrig; D. Gehrig; D. Scaramuzza: How to Calibrate Your Event Camera.
[5] Henri Rebecq, Ren´e Ranftl, Vladlen Koltun, and Davide Scaramuzza, “High speed and high dynamic range video with an event camera,” IEEE Trans. Pattern Anal. Mach. Intell.
[6] Huang, Kun; Wang, Yifu; Kneip, Laurent (2021): Dynamic Event Camera Calibration. IEEE/RSJ Int. Conf. Intelligent Robots and Systems (IROS), 2021.
[7] https://www.bilibili.com/video/BV1ey4y1j7Ke?share_source=copy_web
[8] Wang, Z., Ng, Y., van Goor, P., Mahony., R., Event Camera Calibration of Per-pixel Biased Contrast Threshold, Australasian Conf. Robotics and Automation (ACRA) 2019.

欢迎关注微信公众号【事件相机】，分享和交流事件相机的相关研究与应用。