文章：EdgeCalib: Multi-Frame Weighted Edge Features for Automatic Targetless LiDAR-Camera Calibration
作者：Xingchen Li, Yifan Duan, Beibei Wang, Haojie Ren, Guoliang You, Yu Sheng,Jianmin Ji, Yanyong Zhang
编辑：点云PCL
欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。
公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系[email protected]。侵权或转载联系微信cloudpoint9527。
摘要
在多模态感知系统中，实现激光雷达和相机之间的精确外参校准是至关重要。先前的校准方法通常需要特定的目标或手动调整，这使它们既费时又昂贵，基于特征的在线校准方法已经被提出，但这些方法面临着诸如特征提取不精确、跨模态关联不可靠和高度场景特定要求等挑战。为了解决这个问题，我们引入了一种用于在真实场景中自动在线校准激光雷达和相机的基于边缘的方法，边缘特征在各种环境中普遍存在，它们在图像和点云中都对齐以计算外参。具体而言，使用一种基于SAM的方法提取稳定和强大的图像边缘特征，而从点云中提取的边缘特征通过多帧加权策略进行特征过滤。最后根据边缘对应约束优化了准确的外参。在KITTI数据集和我们自己的数据集上进行了评估，结果显示，旋转精度达到了0.086°，平移精度为0.977厘米，无论是在精度还是稳健性方面，均优于现有的基于边缘的校准方法。
主要贡献
大规模深度学习模型提供了一个有前途的解决方案，最近发布的Segment Anything Model（SAM）是一种用于图像分割的视觉基础模型，展现了令人印象深刻的零样本能力，得益于大量的训练数据，因此非常适用于各种视觉任务，包括边缘检测。在这项工作中，我们使用SAM来促进从单个图像帧中精确提取边缘轮廓。现有校准方法的另一个限制是它们仅专注于单帧点云图像对，缺乏足够的跨帧特征分布探索。为了探索点边缘在多个帧之间的一致性，我们进一步扩展了我们的方法，通过单帧特征提取和匹配来引入多帧特征。我们探讨了跨连续帧的边缘特征的位置一致性和投影一致性，以进一步优化特征选择。
图1，该方法的核心原则是利用边缘一致性进行校准，应用SAM来处理相机数据，同时采用多帧加权策略来处理激光雷达数据。
图1说明了我们方法的基本思想， 我们工作的主要贡献可以列举如下。
引入了一种用于激光雷达-摄像机外参校准的自动无目标方法，利用点云和图像之间的边缘一致性。通过使用SAM以及自适应边缘过滤策略，我们的方法显著提高了边缘轮廓提取的准确性。
引入了一种多帧特征加权策略，增强了边缘特征提取的稳定性和鲁棒性，这显著提高了外参校准的准确性。
我们的方法实现了旋转误差为0.086°和平移误差为0.977厘米的最先进性能。此外，我们通过在公开可用的KITTI数据集上以及在我们收集的数据上进行实验证实了我们方法的通用性和多功能性。
内容概述
激光雷达传感器和相机的外参校准的核心问题在于有效地建立来自不同模态数据之间的对应关系，在本研究中，边缘特征被选为在激光雷达和相机坐标系之间进行准确外参校准的基本要素。这些边缘特征包括树木、街灯、墙壁等物体，它们通常在室内和室外环境中都能找到，并且它们在点云和图像之间展现一致的对应关系。激光雷达传感器和相机之间的外参校准的挑战在于精确确定将它们相关联的变换矩阵。在本文的范围内，我们将这个问题形式化为变换矩阵 TC_L ∈ SE(3) 的计算，它由旋转矩阵和平移向量组成。我们假设相机和激光雷达的内参已经校准良好，并且激光雷达和相机传感器的数据是在同一时刻捕获的。图2提供了所提出方法的概述。首先从图像和点云中提取边缘特征并进行初步过滤，然后利用多帧加权策略进一步优化这些边缘。最后将点云边缘特征投影到像素帧上，计算并优化当前参数的分数。
图2. 所提出方法的概述
图像边缘提取
基于边缘特征的在线校准方法通常使用边缘检测器，如Canny边缘检测器来提取图像边缘。然而传统算法如Canny主要依赖于局部图像梯度和方向进行边缘检测，缺乏对图像语义的整体理解，因此，提取的边缘往往包括大量纹理和噪声，使它们相对混乱。与利用几何边缘检测器进行边缘检测的传统方法不同，我们利用大规模视觉模型SAM的广泛能力来完成边缘检测任务，作为一个深度学习的基础模型，SAM在各种分割任务上展现出强大的零样本性能。具体来说我们通过向SAM提供一个16×16的前景点网格来使用SAM来生成预测掩模，然后通过非极大值抑制和Sobel滤波等方法来生成边缘图，从而有效地生成边缘图。虽然使用SAM提取的边缘在捕捉物体轮廓方面表现出色，但我们观察到一些“弱边缘”的存在，这些弱边缘是由于低置信度的语义分割而产生的。这些弱边缘通常代表纹理或噪声，如道路或草地，通常与激光雷达生成的边缘没有相应的关系。因此，它们需要通过特定策略进行过滤。因此在获得SAM生成的边缘图之后，采用基于语义信息的自适应边缘过滤策略，对于SAM生成的每个物体掩模，提取其轮廓并计算沿着轮廓的边缘像素的标准强度。这个标准强度作为保留每个物体分割区域内高置信度边缘的自适应阈值。因此，自适应方法生成了更丰富的边缘图，优先考虑与物体边界相对应的边缘特征，而不是纹理特征。
图3. Canny和SAM提取的边缘特征的比较。可以观察到SAM的边缘在捕捉对象轮廓方面优于Canny方法获得的边缘，特别是在捕捉对象轮廓方面表现出色。
我们将SAM模型提取的边缘称为“SAM边缘”，图3显示了原始图像、Canny边缘特征和SAM边缘特征的示例。可以明显看出，由于有助于理解图像内容的语义信息，SAM边缘特征能够更准确地提取物体边界，与传统的Canny边缘特征相比，这导致了较少的错误提取的纹理边缘。
LiDAR边缘提取
在LiDAR数据处理中，距离的不连续性被用于提取点云内的边缘特征，鉴于扫描线的垂直方向上点云密度较低，分析主要集中在连续扫描之间的水平深度差异，从而实现对点云结构内边缘的检测。对于给定的LiDAR点，检查当前点与其相邻对应点之间的距离，如果检测到突然的深度变化，将当前点标记为边缘点。与此同时，还会选择激光深度不连续处较浅深度的点，因为与较深的点不同，它们从摄像机的角度来看是可见的。这有助于减轻由于传感器之间视场不同而可能引起的问题。目前从点云中提取的边缘特征通常是无组织和杂乱的，为了改进这一点，应用点云聚类算法来消除具有不足相邻点的边缘特征。这个滤波阶段导致了点云边缘特征的更一致和井然有序的表示，从而促进了随后过程中的优化结果的提升，为了简化表述，将从点云中提取的边缘特征称为“点边缘”。
多帧加权策略
使用图像中的SAM边缘和点云中的边缘，可以获得单帧校准结果，然而为了获得更有益于校准的信息，我们分析来自LiDAR的连续数据序列，以探索跨多帧的点边缘一致性，从而在优化步骤中对点边缘进行加权。因此我们提出了点边缘的两个属性，即位置一致性和投影一致性，以进一步提高校准精度，如图4所示。
图4. 位置一致性和投影一致性的示意图，红色表示两种一致性中的高权重，蓝色表示低权重。
多帧边缘对齐优化
提取出的LiDAR边缘需要与图像中的对应边缘进行匹配，当前外参的得分是通过投影点的灰度值来计算的，从而构建了目标函数，通过最小化对齐边缘的投影误差来校准外参。
实验
数据集准备
我们在两个数据集上进行了实验，第一个数据集来自KITTI Odometry Benchmark，其中包括Velodyne HDL-64E LiDAR和一个高分辨率的彩色相机，扫描频率为10HZ。用于实验的数据是同步的和矫正的，可以从提供的校准文件中获取外部参数的地面真值。第二个数据集来自我们的自动驾驶汽车，配备有RoboSense RS-LiDAR-32 LiDAR传感器和一台彩色相机。同步采集的数据以10HZ的速度进行了矫正，包含了5986帧图像和点云数据。我们的采集设备如图7所示。
图7. 左侧是我们配备了LiDAR传感器和相机的自动驾驶车辆，右侧是收集的数据集，包括室内和室外环境。
定量结果
为了评估我们提出的方法的可行性，在KITTI里程数据集的两个不同序列（序列0和7）上进行了评估，这些序列包含不同的场景。结果如下：我们提出的方法实现了平均平移误差为0.977厘米（x、y、z：1.168厘米、1.256厘米、0.507厘米）和平均旋转误差为0.086°（横滚、俯仰、偏航：0.124°、0.036°、0.097°）。我们比较了旋转参数的准确性。如表I所示，我们的方法在KITTI数据集上的测试中表现出优越的性能。
与上述三种基于边缘的方法相比，我们的结果分别提高了大约91.75%、83.38%和59.07%，旋转误差的分布如图6所示，显示在大多数情况下误差保持相对稳定。
图6.数据集的旋转误差分布
定性结果
为了可视化校准结果，我们使用计算得到的外部参数将边缘点云投影到图像平面上，以“红色”表示，同时，SAM边缘显示为同一图像上的“金色”线条，如图5所示。可以看到，代表物体轮廓的这两组边缘都表现出良好的对齐。
图5. 定性的校准结果，红色点云边缘准确地投影到金色图像边缘上。
消融研究
比较了几个模块对整体方法的影响，SAM边缘的影响，为评估在我们的工作中使用SAM边缘的重要性，我们还实施了传统的Canny边缘检测器来提取图像边缘特征。在相同的测试条件和数据集下，如表II所示，与基于Canny的方法相比，我们基于SAM边缘的方法显示出翻译误差减少了90.30%，旋转误差减小了94.20%。结果显示了SAM边缘相对于几何边缘的更高精度和稳健性。
多帧加权的影响。利用SAM使我们能够在单帧内提取高精度的对象边缘轮廓。实验结果总结在表II中，表明多帧加权策略的实施提高了校准的精度，翻译精度提高了60.30%，旋转精度提高了61.26%。
自己数据集上的实验
使用我们的方法获得的结果与传统的基于棋盘格的校准方法进行了比较，如表III所示，我们的方法在不使用棋盘格的情况下实现了与基于棋盘格的方法类似的准确度，这证明了我们提出的方法的灵活性。两种方法之间的差异(Δ)在可接受的范围内，突显了我们方法的可用性。
总结
准确的激光雷达和相机之间的外参校准对于多模态数据融合任务至关重要，本文介绍了EdgeCalib，一种利用边缘特征的新型在线校准方法，该方法的一个重要创新在于利用SAM视觉基础模型，结合多帧加权策略，这些元素共同建立了准确和稳健的特征对应关系，对KITTI公共数据集和自己的数据进行的实验结果证明了我们方法的有效性和稳健性。在未来的工作中，我们的目标是通过整合更轻量和更稳健的模块来进一步改进算法。
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入知识星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享与合作方式：微信“cloudpoint9527”（备注：姓名+学校/公司+研究方向） 联系邮箱：[email protected]。
为分享的伙伴们点赞吧！
