文章：Influence of Camera-LiDAR Configuration on 3D Object Detection for Autonomous Driving
作者：Ye Li，Hanjiang Hu， Zuxin Liu，Ding Zhao
编辑：点云PCL
欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。
公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系[email protected]。侵权或转载联系微信cloudpoint9527。
摘要
相机和激光雷达都是自动驾驶中重要的传感器，对于三维物体检测起着至关重要的作用。相机-激光雷达融合已经成为实现强大和准确的自动驾驶感知的主要解决方案，与绝大多数现有研究侧重于通过跨模态方案、深度学习算法和训练技巧来提高三维目标检测性能不同，我们关注传感器配置对基于学习的方法性能的影响。为了实现这一点，本文提出了一种基于所提出的传感器感知模型相机和激光雷达评估的统一信息论替代度量。我们还设计了一个高质量、快速的数据采集、模型训练和性能评估框架，该框架与CARLA模拟器一起运行。为了展示检测性能与我们的指标之间的关系，我们进行了一些实验，使用了几种受到自动驾驶公司和研究机构启发的相机-激光雷达布置和参数。在NuScenes数据集上的大量实验结果验证了我们的替代指标的有效性，表明传感器配置对基于点云和图像融合的检测模型有着显著影响，可以导致平均精度方面高达30%的差异。
主要贡献
本文的目标是研究统一的评估方法，用于评估相机和激光雷达的配置，如图1所示。
图1. LiDAR配置：(a) 中心, (b) 金字塔, (c) 线性, (d) 梯形, 以及摄像头配置：(e) 宽角, (f) 窄角。
在不同相机和激光雷达配置下快速评估三维检测性能在实际世界中是具有挑战性的，这是因为数据采集、模型训练和性能测试都非常繁重。此外在自动驾驶领域使用越来越多多模态传感器的趋势下，有效地比较不同传感器配置以获得更好的三维感知仍然是一个未解决且关键的问题。因此，本文研究了摄像头-激光雷达配置对三维物体检测性能的影响，并提出了一种新颖且统一的框架，用于加速不同摄像头-激光雷达配置的评估。本文的主要贡献总结如下：
我们建立了一个新的系统框架，以有效评估不同相机-激光雷达配置的三维检测性能，而无需进行费力的数据收集、模型训练和评估循环。
我们提出了一种易于计算的统一替代度量，基于相机和激光雷达的感知机制，有效地表征了感知过程并加速了感知性能的评估。
在CARLA模拟环境中进行的大量实验结果验证了我们的替代度量与几种摄像头-激光雷达融合算法的检测性能之间的关联。相关代码在 https://github.com/safeai-lab/lidarcamera-placement。
内容概述
问题描述
为了评估不同摄像头-激光雷达配置的性能，我们只考虑在计算检测准确度指标时感兴趣区域（ROI）内的物体。我们将摄像头-激光雷达配置评估问题形式化为比较3D目标检测性能与几种最先进的摄像头-激光雷达融合方法及其相应替代度量的问题。考虑到在实际世界中评估摄像头-激光雷达检测性能的困难，我们提出了一个统一的替代度量，以加速传感器配置评估过程，并引入摄像头-激光雷达感知模型来计算统一的替代度量。
图2. 摄像头-激光雷达配置的评估框
建模摄像头-激光雷达感知
模型描述：摄像头-激光雷达数据感知模型包括激光雷达感知模型和摄像头感知模型。激光雷达感知模型模拟垂直分布的旋转射线，而摄像头感知模型基于图像投影建立了像素与三维世界点之间的关系。
射线投射：激光雷达射线根据水平和垂直分辨率参数旋转，形成锥形感知区域。摄像头射线投射依赖于像素坐标和相机参数，模拟光线从相机光学中心发出，射线遍历ROI空间。
图3. 激光雷达感知模型
图4. 相机成像模型
多传感器概率占用网格
数据评估：使用概率占用网格（POG）评估ROI内体素是否被目标物体占据的概率。每体素的占用概率根据样本数据估计，这使得综合多帧数据更有利于3D检测性能。
条件概率：引入条件概率占用网格来表示特定传感器配置下的体素占用情况。它考虑了特定传感器的感知范围内的3D目标物体的占用。
统一替代度量
替代度量：提出了统一替代度量用于评估摄像头-激光雷达配置。该度量基于信息论和POG，考虑了不同配置下的信息熵和信息增益。最终将多传感器配置的性能综合成一个替代度量以便进行评估和比较。
实验
这里设计了一个基于CARLA模拟器的自动摄像头-激光雷达数据收集和评估框架，以避免耗时、低效和高成本的真实世界实验来验证我们的方法。为了确保实验比较的公平性，CARLA中收集的所有图像和点云都具有固定的场景，包括数据收集自车的路线、驾驶场景、交通流量等。我们进行了全面的实验，以展示两个关键点：摄像头和激光雷达配置对3D目标检测性能的影响，以及我们提出的统一替代度量与基于学习的感知性能之间的相关性。不同的传感器配置。本工作中的传感器配置采用了4个激光雷达和6个摄像头，遵循NuScenes数据集的配置。为了探索对目标检测性能的影响，使用了四种不同的激光雷达配置，受到知名自动驾驶公司的启发。激光雷达的配置在垂直FOV（-25.0, 25.0度）范围内均匀分布，如图1所示。完整的配置和缩写可在表I中找到。
传感器配置对3D目标检测的影响。在图5和表II中，我们展示了不同的代表性算法在不同的摄像头-激光雷达配置下的3D目标检测性能。传感器的配置显著影响检测性能，最大波动幅度为30%。
图5. 在摄像头-激光雷达配置下，3D检测mAP与统一代理度量（S-MS）之间的关系，缩写列在表I中。
总结
本论文研究了LiDAR和摄像头配置对自动驾驶中的3D目标检测性能的影响。我们提出了一个新颖的框架，用于评估LiDAR和摄像头配置，包括数据采集、模型训练和性能评估。我们提出了一个统一的代理度量，用于预测不同摄像头和LiDAR配置下的3D目标检测性能。并进行了大量实验，使用CARLA收集的数据和代表性的摄像头-LiDAR融合算法，结果表明我们的度量与检测性能之间存在高度一致性，为优化自动驾驶汽车中的多传感器配置提供了新方向。
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入知识星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享与合作方式：微信“cloudpoint9527”（备注：姓名+学校/公司+研究方向） 联系邮箱：[email protected]。
为分享的伙伴们点赞吧！
