点云 3D 天气数据增强 - Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in ... (ICCV 2021)

声明：此翻译仅为个人学习记录

文章信息

• 标题：Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in Adverse Weather (ICCV 2021)
• 作者：Martin Hahner, Christos Sakaridis, Dengxin Dai, Luc Van Gool
• 文章链接：https://openaccess.thecvf.com/content/ICCV2021/papers/Hahner_Fog_Simulation_on_Real_LiDAR_Point_Clouds_for_3D_Object_ICCV_2021_paper.pdf
• 补充材料：https://openaccess.thecvf.com/content/ICCV2021/supplemental/Hahner_Fog_Simulation_on_ICCV_2021_supplemental.pdf
• 文章代码：https://github.com/MartinHahner/LiDAR_fog_sim

摘要

  这项工作解决了雾天中基于激光雷达的3D目标检测的挑战性任务。在这样的场景中收集和注释数据是非常耗时、费力和成本密集的。在本文中，我们通过将物理上精确的雾模拟到晴朗的天气场景中来解决这个问题，以便在晴朗的天气中捕获的大量现有真实数据集可以重新用于我们的任务。我们的贡献有两方面：1）我们开发了一种适用于任何LiDAR数据集的物理有效雾模拟方法。这使得无需额外费用即可获取大规模雾状训练数据。这些部分合成的数据可用于提高几种感知方法的鲁棒性，例如3D目标检测和跟踪或同步定位和建图。2） 通过使用几种最先进的检测方法进行的大量实验，我们表明可以利用雾模拟来显著提高雾存在时的3D目标检测性能。因此，我们是第一个在Seeing Through Fog（STF）数据集上提供强大的3D目标检测基线。我们的代码可在www.trace.ethz.ch/lidar_fog_simulation上获得。

1. 引言

  光探测和测距（LiDAR）对于实现安全的自动驾驶汽车至关重要，因为LiDAR测量目标与传感器的精确距离，而相机无法直接测量。因此，LiDAR已进入许多应用领域，包括检测[23，34]、跟踪[7，50]、定位[25，8]和建图[48，15]。尽管有测量精确深度信息的好处，但激光雷达有一个明显的缺点。与汽车雷达不同，LiDAR传感器在不可见近红外（NIR）光谱（通常波长为850和903至905nm[4]）中发射的光脉冲不会穿透水颗粒。这意味着一旦空气中有雾状的水颗粒，传感器发出的光脉冲就会发生反向散射和衰减。衰减降低了与应测量的视线中固体目标的距离相对应的接收信号功率，而反向散射在不正确的距离内产生了接收信号功率的寄生峰值。因此，每当捕获时出现雾时，获取的LiDAR点云将包含一些虚假返回。这对于大多数户外应用来说都是一个巨大的挑战，因为它们通常需要在所有天气条件下都具有强大的性能。

图1：（顶部）场景中雾导致的激光雷达返回。（a） 显示了最强的返回和（b）最后一次返回，由LiDAR通道进行颜色编码。为了更好地看到雾引入的点，地面的返回被移除。最佳颜色（红色 对应 低，青色 对应 高，3D边界框注释为绿色，自我车辆尺寸为灰色）

  近年来，已经提出了几种用于3D目标检测的LiDAR数据集[10，3，19，5，39，27，11，16]。尽管其中许多包含不同的驾驶场景，但没有一个允许对不同类型的不利天气进行评估。就在最近，Canadian Adverse Driving Conditions（CADC）数据集[28]和Seeing Through Fog（STF）数据集[2]解决了此类评估的需求。虽然CADC侧重于降雪，但STF针对雾、雨和雪下的评估。因此，仍然没有大量的激光雷达雾状数据可用于训练深度神经网络。

  原因很明显：收集和注释大规模数据集本身是时间、人力和成本密集型的，更不用说在恶劣天气条件下进行。

  这正是我们工作解决的不足。在第3节中，我们提出了一种基于物理的雾模拟，该模拟将真实晴朗天气的激光雷达点云转换为雾状云。特别是，我们使用标准线性系统[30]来模拟激光雷达脉冲的传输。我们根据该系统的脉冲响应来区分晴朗天气和雾的情况，并在收到的雾下响应和晴朗天气下的相应响应之间建立正式联系。这种连接可以直接转换每个原始晴朗天气点的距离和强度，从而使新的距离和强度与场景中出现雾时的测量值相对应。然后，我们在第4节中显示，可以在我们的部分合成数据上训练几个最先进的3D目标检测管道，以提高对真实雾状数据的鲁棒性。该方案已经应用于图像的语义分割[32，31，13]，我们表明它也成功地用于LiDAR数据和3D目标检测。

  对于我们的实验，我们在STF[2]的晴朗天气训练集上模拟雾，并在他们的真实雾测试集上进行评估。图1显示了STF浓雾测试集的一个示例场景，在LiDAR数据中，雾引入的噪声清晰可见。STF[2]的作者使用Velodyne HDL-64E作为主要的激光雷达传感器。该传感器具有64个通道和所谓的双模式。在这种模式下，它不仅可以测量最强的，而且可以测量每个单独发射的光脉冲的最后一次返回。即使最后一个信号包含不太严重的噪声，雾仍然会导致大量的虚假返回。因此，即使在这种双重模式下，传感器也不能完全“看穿雾”。

  图2显示了雾引入的噪声的一个有趣的特征，即它不是均匀分布在传感器周围。相反，噪声的存在取决于视线中是否存在距离传感器一定距离以下的目标。如果在中等距离内有一个固体目标，则从各个脉冲中产生的杂散回波很少（如果有的话）。另一方面，如果在一定距离以下的视线中没有目标，则会有大量由雾引起的虚假回波。这在图2的示例中变得很明显，道路左侧有一座小山，右侧护栏后面有一块空地。只有在后一种情况下，测量中才会出现雾引起的噪声。第3节中的理论公式解释了这种行为。

  顺便说一句，类似的传感器噪音也可能是由排气烟雾造成的，但如果未来的交通是电动的，至少这个问题可能会消失在空气中。

图2：（顶部）场景中雾导致的激光雷达返回。通过（a）中的LiDAR通道和（b）中的强度进行颜色编码。为了更好地看到雾引入的点，地面的返回被移除。最佳颜色，与图1中的颜色编码相同。

2. 相关工作

2.1 不利天气对激光雷达的影响

  一些早期作品包括Isaac等人[20]。2001年，他们研究了雾和霾对近红外光谱中的光无线通信的影响。然后，在2011年，Rasshofer等人[30]研究了天气现象对汽车激光雷达系统的影响。近年来，不利天气条件得到了更多的关注，还有许多其他工作值得一提，研究了不同不利天气条件下激光雷达数据的退化[45，9，21，17，14，44，24，22]。最近，在2020年，LIBRE[4]的作者在雨和雾的天气室内测试了几个激光雷达传感器。因此，他们提供了关于当前单个传感器在挑战性天气条件下的鲁棒性的重要见解。

2.2 恶劣天气和激光雷达模拟

  在汽车环境中，迄今为止，人工雾模拟主要局限于基于图像的方法。Sakaridis等人[32]例如，通过利用原始数据集中给出的深度信息，创建了语义分割数据集Cityscapes[6]的有雾的版本，以及Hahner等人[13]纯合成数据集Synscapes[46]的有雾的版本。Sakaridis等人还发布了ACDC[33]，这是一个在不利条件下为19个城市景观类提供语义像素级注释的数据集。就在最近，Bijelic等人[2]提出了一阶近似值来模拟汽车激光雷达环境中的雾。然而，他们的模拟只是为了再现他们在30米长的雾室中进行的测量。

  Goodin等人[12]开发了一个模型来量化激光雷达在雨中的性能退化，并将其模型纳入模拟中，用于测试高级驾驶员辅助系统（ADAS）。Michaud等人[26]和Tremblay等人[41]提出了一种在图像上渲染雨水的方法，以评估和提高雨水图像的鲁棒性。

2.3 3D目标检测

  在过去几年发布了许多LiDAR数据集[10、3、19、5、39、27、11、16、28、2]之后，3D目标检测在自动驾驶的竞赛中受到越来越多的关注。虽然存在Simonelli等人[38]等基于相机的方法和Gated3D[18]等门控相机方法，但所有数据集排行榜的前几位通常都是在基于LiDAR的方法中排序的。

  基于LiDAR的3D目标检测方法的主要工作包括PointNet[29]和VoxelNet[49]。PointNet[29]是一种神经网络，它直接处理点云，而无需事先将3D空间量化为体素。最值得注意的是，网络体系结构对输入扰动具有鲁棒性，因此点输入网络的顺序不会影响其性能。VoxelNet[49]基于将3D空间量化为大小相等的体素的想法，然后利用类似PointNet的层来处理每个体素。然而，由于其计算密集型3D卷积，它是一个相当沉重的架构。

  这就是PointPillars[23]的作用所在：它摆脱了高度域中的量化，而是在3D柱网格中处理点云。PointPillars[23]基于SECOND[47]代码，但由于新的支柱思想，它可以回退到更快的2D卷积，并以更快的速度获得非常有竞争力的结果。其后继的PointPainting[43]进一步利用图像分割结果，并在使用PointPillars[23]架构处理点之前，使用伪类标签“绘制”这些点。

  Shi等人在3D目标检测方面取得了几个最近的里程碑。PointRCNN[36]是一种两阶段架构，其中第一阶段以自下而上的方式从点云生成3D边界框提议，第二阶段以规范的方式细化这些3D边界框提议。Part-A2[37]在某种意义上是部分感知的，即网络考虑了点属于目标的哪个部分。它利用了这些目标内的部分位置，从而可以获得更高的结果。PV-RCNN[34]及其后续PV-RCNN++[35]是他们同时处理（粗略）体素和点云的原始点的最新工作。

3. 真实LiDAR点云上的雾模拟

  为了模拟雾对在晴朗天气下记录的真实世界激光雷达点云的影响，我们需要求助于作为激光雷达传感器发射器和接收器功能基础的光学系统模型。特别是，我们检查单个测量/点，将接收功率的全部信号建模为距离的函数，并恢复其对应于原始晴朗天气测量的精确形式。这允许我们在信号域中操作，并通过修改与光信道（即大气）相关的脉冲响应部分来实现从晴朗天气到雾的转换。在本节的剩余部分中，我们首先提供了LiDAR传感器光学系统的背景，然后介绍了基于该系统的雾模拟算法。

3.1 激光雷达光学模型的背景

  Rasshofer等人[30]引入了一个简单的线性系统模型来描述激光雷达接收机的接收信号功率，这对于非弹性散射是有效的。特别地，与距离相关的接收信号功率P_R被建模为时间相关的发射信号功率P_T和环境的时间相关的脉冲响应H之间的时间卷积：

c是光速，CA是独立于时间和范围的系统常数。对于我们的雾模拟，正如我们在第3.2节中所解释的，可以将C_A分解。

  我们继续进行（1）中剩余术语的描述和建模。发射脉冲的时间特征可以通过sin²函数为汽车LiDAR传感器[30]建模：

其中P₀表示脉冲的峰值功率，τ_H表示半功率脉冲宽度。τ_H的典型值介于10和20 ns之间[30]。在（2）中，时间原点被设置为脉冲的开始，因此如果LiDAR传感器没有报告与上升沿相关的距离，而是返回信号中相应峰值的最大值，我们可以在稍后的管道中执行所需的校正。由于在嵌入式信号处理中报告上升沿是很常见的，因此我们在所有方程中都保持这种约定，并展示了以后在哪里可以进行这样的校正。

  环境的空间脉冲响应函数H可以建模为光信道H_C和目标H_T的单个脉冲响应的乘积：

光信道H_C的脉冲响应为

其中T（R）代表总单向传输损耗，ξ（R）表示交叉函数，该交叉函数定义发射器照射的面积与接收器观察到的面积之比，如图3所示。由于商用激光雷达传感器中光学配置的全部细节通常不公开（即R₁和R₂的精确值未知），因此在我们的情况下，ξ（R）是分段线性近似，定义为

总单向传输损耗T（R）定义为

其中，α（r）表示空间变化的衰减系数。在我们的模拟中，我们假设均匀光学介质，即α（r）=α。结果，（6）得出

衰减系数α取决于测量时的天气，并随着能见度范围的减小而增加。因此，对于相同的3D场景，光通道H_C的脉冲响应随可见性而变化。

  光学系统（1）的最后一个待建模项是目标的脉冲响应H_T。然而，我们需要根据天气条件来区分H_T的情况，因为同一3D场景的目标组成在雾中与在晴朗天气中不同。对于同一3D场景，我们有助于在晴朗天气和雾中构建响应P_R之间的直接关系，这种关系使我们能够在真实的晴朗天气LiDAR测量中模拟雾。

3.2 激光雷达雾模拟

  现在，我们根据脉冲响应项H_C和H_T，详细说明了第3.1节中针对晴朗天气和雾的个别情况的光学模型。

  在晴朗天气下，衰减系数α为0，因此

此外，晴朗天气下的目标仅由激光雷达脉冲反射到其上的固体目标组成。这种类型的目标被称为硬目标[30]。

图3：激光雷达传感器示意图，其中发射器T_x和接收器R_x没有同轴光学器件，但具有平行轴。这被称为双基波束配置。根据[30]调整的图片。

  在R₀范围内的硬目标的脉冲响应H_T的Dirac delta函数形式为

其中β₀表示目标的差分反射率。如果我们只考虑漫反射（朗伯曲面），则β₀由

  因此，将（8）和（9）代入（3），在晴朗的天气下，总脉冲响应函数H（R）可以表示为

其中我们使用了性质f(x)δ(x−x₀)=f(x₀)δ(x-x₀)。由于在实践中R₂小于两米[42]，我们可以安全地假设R₂≪R₀，因此ξ(R₀)=1。因此，从（1）开始，给定原始晴朗天气激光雷达点的距离测量R₀，我们以闭合形式计算接收信号功率，如下所示

接收信号功率在$R_0+\frac{c{\tau }_H}{2}$处达到最大值。因此，正如我们在第3.1节中提到的，在这里，如果必要，可以简单地将响应P_R，clear（R）移动$-\frac{c{\tau }_H}{2}$。

  我们现在建立了P_R,clear（R）到P_R,clear（R）在fog下的转换。虽然由于3D场景是相同的，所以仍然存在相同的硬目标，但雾现在有一个额外的贡献，它构成了一个软目标[30]，为脉冲响应H_T提供分布式散射。

  这种软雾目标$H_T^{soft}$的脉冲响应是Heaviside函数形式为

其中β表示后向散射系数，在我们的齐性假设下是常数，U是Heaviside函数。

  硬目标和软目标的共存可以通过取各自脉冲响应的叠加来建模：

  我们观察到，与晴朗天气相比，雾中的空间脉冲响应更为复杂，但它仍然可以分解为两个项，分别对应于硬目标和软目标，导致接收到的响应分别分解为

聚焦于硬目标项，使用（1）来计算接收响应$P_{R,fog}^{hard}$的相应项，并再次利用R₂≪R₀的假设，我们获得

换句话说，雾中响应的硬目标项是原始晴朗天气响应$P_{R,clear}$的衰减版本。另一方面，软目标项是

并且不具有闭合形式的表达式，因为（18）右侧的相应积分I(R，R₀，α，τ_H)无法解析计算。

图4：来自单个激光雷达脉冲的接收信号功率$P_{R,fog}$的两项，与反射脉冲的固体目标（$P_{R,fog}^{hard}$）和软雾目标（$P_{R,fog}^{soft}$）相关，绘制在距离域上。在（a）中，雾的厚度不足以产生回波，而在（b）中，它的厚度足以产生在R₀=30m时遮蔽固体目标的回波。

  然而，对于给定的τ_H和α，I（R，R₀，α，τ_H）可以针对R的固定值进行数值计算。我们使用Simpson的1/3规则进行数值积分，并在图4中提供了$P_{R,fog}^{soft}$轮廓的指示性示例。根据硬目标与传感器的距离，响应的软目标项可能表现出比硬目标项更大的最大值，这意味着测量范围由于雾的存在而改变，并且变得等于软目标项的最大值点。

  我们开发的公式为晴朗天气点云上的雾模拟提供了一个简单的算法。该算法的输入参数为α、β、β₀和τ_H。该算法的主要输入是清晰的天气点云，其中每个点p∈R³都有一个测量的强度i。我们假设传感器的强度读数是与每个测量相对应的接收信号功率$P_{R,clear}$的最大值的线性函数。算法1中给出了每个点p的过程。请注意，我们在$P_{R,fog}^{soft}$的距离上添加了一些噪声（行14-15），否则$P_{R,fog}^{soft}$引入的所有点都将精确地位于激光雷达传感器周围的圆上。

4. 结果

4.1 雾模拟

  我们的雾模拟与[2]中的雾模拟之间的定性比较可以在图5中找到。我们可以看到，与[2]中的雾模拟（其中软目标的响应仅以启发式方式建模）相比，我们的雾模拟以物理上合理的方式对$P_{R,fog}^{soft}$进行建模。为了突出这一差异，我们特别选择了一个清晰的天气场景，其布局与图2中描绘的真实雾场景相似。只有在我们的雾模拟中（在图5的右下角可视化中最清晰可见），才会模拟类似的半圆雾噪声。在补充材料中，我们展示了与其他α值的比较。

图5：我们的雾模拟（底部）与[2]中的雾模拟的比较（中间），α设置为0.06，对应于气象光学范围（MOR）≈50m。在左侧列中，点云按强度进行颜色编码，在右侧列中，它按高度（z值）进行颜色编码。顶行显示原始点云。

4.2 雾中的3D目标检测

  我们的实验设置代码库是从OpenPCDet[40]派生而来的。它提供了3D目标检测方法PV-RCNN[34]、PointRCNN[36]、SECOND[47]、Part-A²[37]和PointPillars[23]的实现。对于我们的实验，我们在STF[2]数据集上用它们提供的标准训练策略从头开始训练所有这些方法80个epochs。我们还试图根据KITTI[10]权重（使用相同的激光雷达传感器）进行微调，但除了网络收敛更快之外，我们没有看到任何好处，因此您在第4.2节中看到的所有数字都是在STF[2]晴朗天气训练集上从头开始训练的，该训练集由3469个场景组成。STF[2]晴朗天气验证和测试集分别由781个和1847个场景组成。然而，在我们的实验中使用STF[2]的主要好处是，它带有针对不同不利天气条件的测试集。特别是，它配备了946个场景的轻雾测试集和786个场景的浓雾测试集。这使我们能够在真实的雾数据上测试雾模拟管道的有效性。

  关于雾模拟，我们假设Velodyne HDL-64E传感器的半功率脉冲宽度τ_H为20ns，并将β设置为$\frac{0.046}{MOR}$，如Rasshofer等人[30]所述。我们根据经验将所有点的β₀设置为$\frac{1\times 10^{-6}}{\pi }$，以获得与我们在STF[2]的真实雾点云中观察到的类似的强度分布。由于Velodyne HDL-64E使用了一些未知的内部动态增益机制，因此它在每个时间步长都能提供全值范围[0，255]内的强度值。为了模拟这种行为并再次覆盖整个值范围，我们在通过算法1修改强度值后线性放大强度值。

4.2.1 定量结果

  对于我们报告的数字，我们选择在晴朗天气验证集上性能最好的快照，并在上述测试划分上进行测试。在表1中，我们报告了汽车、骑车人和行人类别的STF[2]浓雾测试的3D平均精度（AP），以及这三个类别的3D平均精确度（mAP）。请注意，总是一个模型预测所有三个类，而不是每个类一个模型。本文中报告的所有AP和mAP数量都是使用[38]中建议的40个召回位置计算的。我们可以看到，在所有类别和主要汽车类别的mAP中，使用我们的雾模拟的所有方法的训练运行都优于[2]中使用雾模拟的晴朗天气基线和训练运行。

  作为第二个基线，我们在测试时应用额外的预处理步骤后评估晴朗天气模型，其中我们只将两个点中存在的点馈送到网络，这是同一场景的最强和最后一次测量。我们将这个滤波器称为“最强的最后一个滤波器”。该过滤器的想法源于这样一个事实，即该过滤器丢弃的所有点都必须是噪声（很可能是由场景中的雾引入的），并且不能来自感兴趣的物理目标。我们可以看到，这种滤波器在大多数情况下都能提高晴朗天气模型的性能，但在大多数情况中也不会超过任何雾模拟运行。人们可能还注意到，骑车人类的表现通常低于其他两个类。我们将此归因于这样一个事实，即与STF[2]数据集中的其他两个类别相比，骑车人的类别代表性相当低（例如，在浓雾测试中，28名骑车人对490名行人和1186辆汽车）。对于行人（和骑车人）级别，我们仍然取得了五分之三的最先进性能。对于使用我们的雾模拟或[2]中的雾模拟的训练运行，我们从[0，0.005，0.01，0.02，0.03，0.06]对每个训练示例α进行均匀采样，这分别对应于大约[∞，600，300，150，100，50]m的MOR。尝试更复杂的技术，比如课程学习[1]，是为了将来的工作。

表1:STF[2]浓雾测试划分的3D平均精度（AP）结果。
†晴朗天气基线‡晴朗的天气基线（与†型号相同），在测试时应用最强的最后一个滤波器
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

表2：汽车3D [email protected]所有相关STF[2]测试划分的结果。
†晴朗天气基线‡晴朗的天气基线（与†型号相同），在测试时应用最强的最后一个滤波器
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

图6：（顶部）行显示PV-RCNN[34]在原始晴朗天气数据上训练的预测（上表中的第一行），（底部）行显示了PV-RCNN[44]在晴朗天气和模拟雾数据的混合上训练的对STF[2]浓雾测试划分的三个示例场景的预测（上表中的第四行）。真值框为彩色，模型预测为白色。最好在屏幕上观看（并放大）。

  在表2中，我们展示了主要汽车类别在浓雾、轻雾和晴朗测试集上的3D AP，以及在这三种天气条件下的mAP。我们可以看到，在浓雾中，使用我们的雾模拟的所有方法的训练运行都优于所有其他训练运行，这正是我们物理精确雾模拟的目标。我们可以进一步看到，在训练中混合雾模拟不会对晴朗天气下的表现造成太大影响，因此，在所有三种天气条件下，我们也在大多数情况下实现了最先进的mAP。

  在补充材料中，我们讨论了为什么我们选择将重点放在宽松的交集（IoU）阈值上，并使用官方的KITTI[10]评估严格性来呈现结果。此外，我们还介绍了2D和鸟瞰图（BEV）结果，以及STF[2]数据集的进一步细节。

4.2.2 定性结果

  在图6中，我们展示了三个明显优于晴朗天气基线的例子。我们可以检查，在训练中看到我们模拟雾的模型，假阳性（左）更少，真阳性（中）更多，总体预测更准确（右），每次都应用相同的置信阈值进行公平比较。

5. 结论

  在这项工作中，我们介绍了一种物理精确的方法，将真实世界的晴朗天气点云转换为雾点云。在这个过程中，我们可以完全控制物理方程中涉及的所有参数。这不仅使我们能够逼真地模拟任何密度的雾，还使我们能够模拟雾对目前市场上可用的任何激光雷达传感器的影响。

  我们表明，通过使用这种物理精确的雾模拟，我们可以提高在真实世界的浓雾中收集的点云上的几种最先进的3D目标检测方法的性能。我们预计，如果激光雷达数据以360°进行注释，而不仅仅是在单个前向相机的视场中，我们的雾模拟可以带来更大的性能提升，但目前还没有公开的数据集来验证这一假设。

  我们相信，我们物理上精确的雾模拟不仅适用于3D目标检测任务。因此，我们希望我们的雾模拟也能进入许多其他任务和工作中。

Acknowledgements: This work was funded by Toyota Motor Europe via the research project TRACE Zurich.

References

[1] Yoshua Bengio, J´erˆome Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In International Conference on Machine Learning (ICML), 2009.
[2] Mario Bijelic, Tobias Gruber, Fahim Mannan, Florian Kraus, Werner Ritter, Klaus Dietmayer, and Felix Heide. Seeing through fog without seeing fog: Deep multimodal sensor fusion in unseen adverse weather. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[3] Holger Caesar, Varun Bankiti, Alex H. Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. nuscenes: A multimodal dataset for autonomous driving. arXiv preprint 1903.11027, 2019.
[4] A. Carballo, J. Lambert, A. Monrroy, D. Wong, P. Narksri, Y. Kitsukawa, E. Takeuchi, S. Kato, and K. Takeda. Libre: The multiple 3d lidar dataset. In IEEE Intelligent Vehicles Symposium (IV), 2020.
[5] M. Chang, J. Lambert, P. Sangkloy, J. Singh, S. Bak, A. Hartnett, D. Wang, P. Carr, S. Lucey, D. Ramanan, and J. Hays. Argoverse: 3d tracking and forecasting with rich maps. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[6] Marius Cordts, Mohamed Omran, Sebastian Ramos, Timo Rehfeld, Markus Enzweiler, Rodrigo Benenson, Uwe Franke, Stefan Roth, and Bernt Schiele. The cityscapes dataset for semantic urban scene understanding. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[7] A. Dewan, T. Caselitz, G. D. Tipaldi, and W. Burgard. Motion-based detection and tracking in 3d lidar scans. In IEEE International Conference on Robotics and Automation (ICRA), 2016.
[8] M. Elhousni and X. Huang. A survey on 3d lidar localization for autonomous vehicles. In 2020 IEEE Intelligent Vehicles Symposium (IV), 2020.
[9] A. Filgueira, Higinio Gonzalez, Susana Lag¨uela, Lucia D´ıaz Vilari˜no, and Pedro Arias. Quantifying the influence of rain in lidar performance. Measurement, 95, 2016.
[10] Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012.
[11] Jakob Geyer, Yohannes Kassahun, Mentar Mahmudi, Xavier Ricou, Rupesh Durgesh, Andrew S. Chung, Lorenz Hauswald, Viet Hoang Pham, Maximilian M¨uhlegg, Sebastian Dorn, Tiffany Fernandez, Martin J¨anicke, Sudesh Mirashi, Chiragkumar Savani, Martin Sturm, Oleksandr Vorobiov, Martin Oelker, Sebastian Garreis, and Peter Schuberth. A2d2: Audi autonomous driving dataset. arXiv preprint 2004.06320, 2020.
[12] Christopher Goodin, Daniel Carruth, Matthew Doude, and Christopher Hudson. Predicting the influence of rain on lidar in adas. Electronics, 8, 2019.
[13] Martin Hahner, Dengxin Dai, Christos Sakaridis, Jan-Nico Zaech, and Luc Van Gool. Semantic understanding of foggy scenes with purely synthetic data. In IEEE International Conference on Intelligent Transportation Systems (ITSC), 2019.
[14] R. Heinzler, P. Schindler, J. Seekircher, W. Ritter, and W. Stork. Weather influence and classification with automotive lidar sensors. In IEEE Intelligent Vehicles Symposium (IV), 2019.
[15] Wolfgang Hess, Damon Kohler, Holger Rapp, and Daniel Andor. Real-time loop closure in 2d lidar slam. In IEEE International Conference on Robotics and Automation (ICRA), 2016.
[16] X. Huang, P. Wang, X. Cheng, D. Zhou, Q. Geng, and R. Yang. The apolloscape open dataset for autonomous driving and its application. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 42, 2020.
[17] Maria Jokela, Matti Kutila, and Pasi Pyyk¨onen. Testing and validation of automotive point-cloud sensors in adverse weather conditions. Applied Sciences, 9, 2019.
[18] Frank D. Julca-Aguilar, Jason Taylor, Mario Bijelic, Fahim Mannan, Ethan Tseng, and Felix Heide. Gated3d: Monocular 3d object detection from temporal illumination cues. arXiv preprint 2102.03602, 2021.
[19] R. Kesten, M. Usman, J. Houston, T. Pandya, K. Nadhamuni, A. Ferreira, M. Yuan, B. Low, A. Jain, P. Ondruska, S. Omari, S. Shah, A. Kulkarni, A. Kazakova, C. Tao, L. Platinsky, W. Jiang, and V. Shet. Lyft level 5 perception dataset 2020. https://level5.lyft.com/dataset, 2019.
[20] Isaac I. Kim, Bruce McArthur, and Eric J. Korevaar. Comparison of laser beam propagation at 785 nm and 1550 nm in fog and haze for optical wireless communications. In Optical Wireless Communications III, volume 4214. International Society for Optics and Photonics, SPIE, 2001.
[21] M. Kutila, P. Pyyk¨onen, H. Holzh¨uter, M. Colomb, and P. Duthon. Automotive lidar performance verification in fog and rain. In International Conference on Intelligent Transportation Systems (ITSC), 2018.
[22] M. Kutila, P. Pyyk¨onen, W. Ritter, O. Sawade, and B. Sch¨aufele. Automotive lidar sensor development scenarios for harsh weather conditions. In IEEE International Conference on Intelligent Transportation Systems (ITSC), 2016.
[23] Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. Pointpillars: Fast encoders for object detection from point clouds. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[24] Y. Li, P. Duthon, M. Colomb, and J. Ibanez-Guzman. What happens for a tof lidar in fog? IEEE Transactions on Intelligent Transportation Systems, 2020.
[25] W. Lu, Y. Zhou, G. Wan, S. Hou, and S. Song. L3-net: Towards learning based lidar localization for autonomous driving. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[26] S. Michaud, Jean-Franc¸ois Lalonde, and P. Gigu`ere. Towards characterizing the behavior of lidars in snowy conditions. In International Conference on Intelligent Robots and Systems (IROS), 2015.
[27] Abhishek Patil, Srikanth Malla, Haiming Gang, and Yi-Ting Chen. The h3d dataset for full-surround 3d multi-object detection and tracking in crowded urban scenes. arXiv preprint 1903.01568, 2019.
[28] Matthew Pitropov, Danson Garcia, Jason Rebello, Michael Smart, Carlos Wang, Krzysztof Czarnecki, and Steven Waslander. Canadian adverse driving conditions dataset. arXiv preprint 2001.10117, 2020.
[29] Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
[30] R. Rasshofer, M. Spies, and H. Spies. Influences of weather phenomena on automotive laser radar systems. Advances in Radio Science, 9, 2011.
[31] Christos Sakaridis, Dengxin Dai, Simon Hecker, and Luc Van Gool. Model adaptation with synthetic and real data for semantic dense foggy scene understanding. In European Conference on Computer Vision (ECCV), 2018.
[32] Christos Sakaridis, Dengxin Dai, and Luc Van Gool. Semantic foggy scene understanding with synthetic data. International Journal of Computer Vision, 126, 2018.
[33] Christos Sakaridis, Dengxin Dai, and Luc Van Gool. ACDC: The adverse conditions dataset with correspondences for semantic driving scene understanding. In IEEE International Conference on Computer Vision (ICCV), 2021.
[34] Shaoshuai Shi, Chaoxu Guo, Li Jiang, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. Pv-rcnn: Point-voxel feature set abstraction for 3d object detection. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[35] Shaoshuai Shi, Li Jiang, Jiajun Deng, Zhe Wang, Chaoxu Guo, Jianping Shi, Xiaogang Wang, and Hongsheng Li. PV-RCNN++: point-voxel feature set abstraction with local vector representation for 3d object detection. arXiv preprint 2102.00463, 2021.
[36] Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. Pointrcnn: 3d object proposal generation and detection from point cloud. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[37] Shaoshuai Shi, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. From points to parts: 3d object detection from point cloud with part-aware and part-aggregation network. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2020.
[38] Andrea Simonelli, Samuel Rota Bulo, Lorenzo Porzi, Manuel Lopez-Antequera, and Peter Kontschieder. Disentangling monocular 3d object detection. In IEEE International Conference on Computer Vision (ICCV), 2019.
[39] Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, Vijay Vasudevan, Wei Han, Jiquan Ngiam, Hang Zhao, Aleksei Timofeev, Scott Ettinger, Maxim Krivokon, Amy Gao, Aditya Joshi, Yu Zhang, Jonathon Shlens, Zhifeng Chen, and Dragomir Anguelov. Scalability in perception for autonomous driving: Waymo open dataset. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[40] OpenPCDet Development Team. Openpcdet: An open-source toolbox for 3d object detection from point clouds. https://github.com/open-mmlab/OpenPCDet, 2020.
[41] Maxime Tremblay, Shirsendu S. Halder, Raoul de Charette, and Jean-Franc¸ois Lalonde. Rain rendering for evaluating and improving robustness to bad weather. International Journal of Computer Vision (IJCV), 126, 2021.
[42] Velodyne. Hdl-64e user’s manual, 2007.
[43] Sourabh Vora, Alex H. Lang, Bassam Helou, and Oscar Beijbom. Pointpainting: Sequential fusion for 3d object detection. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[44] A. M. Wallace, A. Halimi, and G. S. Buller. Full waveform lidar for adverse weather conditions. IEEE Transactions on Vehicular Technology, 69, 2020.
[45] Jacek Wojtanowski, Marek Zygmunt, Mirosława Kaszczuk, Z. Mierczyk, and Michał Muzal. Comparison of 905 nm and 1550 nm semiconductor laser rangefinders’ performance deterioration due to adverse environmental conditions. OptoElectronics Review, 22, 2014.
[46] Magnus Wrenninge and Jonas Unger. Synscapes: A photorealistic synthetic dataset for street scene parsing. arXiv preprint 1810.08705, 2018.
[47] Yan Yan, Yuxing Mao, and Bo Li. Second: Sparsely embedded convolutional detection. Sensors, 18, 2018.
[48] Ji Zhang and Sanjiv Singh. Loam : Lidar odometry and mapping in real-time. Robotics: Science and Systems Conference (RSS), 2014.
[49] Y. Zhou and O. Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.
[50] Claudia ´Alvarez Aparicio, ´Angel Manuel Guerrero Higueras, Francisco Javier Rodr´ıguez-Lera, Jonatan Gin´es Clavero, Francisco Mart´ın Rico, and Vicente Matell´an. People detection and tracking using lidar sensors. Robotics, 8, 2019.

补充材料

图1：用于3D目标检测的STF[1]和众所周知的KITTI[2]数据集的大小比较。

  在本补充文件中，我们提供了有关透视雾（STF）[1]数据集的额外信息（第1节）。我们展示了我们的雾模拟和[1]中的模拟的扩展比较（第2节）。最后，我们还介绍了论文中提出的3D目标检测方法的附加2D、3D和鸟瞰图（BEV）结果（第3节）。

1. Seeing Through Fog的其他细节

  图1显示了Seeing Through Fog（STF）[1]和众所周知的KITTI[2]数据集之间的大小比较。虽然STF[1]的训练集大小几乎相似，但验证和测试集要小得多。然而，STF[1]具有针对不同不利天气条件进行单独测试的优点。例如，它在轻雾中记录了946个场景，在浓雾中记录了786个场景。

  如果是在白天或晚上收集的，则每个场景都进一步包含一个标签。该信息如图2所示。在图3中，我们显示了每个类和拆分的注释目标的数量。虽然汽车和行人的数量相当平衡，但我们可以看到骑车人在STF[1]中的代表性相当低。

图2：STF[1]中每个分割的日间和夜间场景数量。

图3：STF[1]中每个类和拆分的目标数。

  正如论文中所述，我们假设这就是为什么所有报道的方法都在骑车人类表现差的原因，并且与其他两个类汽车和行人相比表现不佳。

2. 附加雾模拟结果

  在图5和图6中，我们将雾模拟与Bijelic等人[1]中的雾模拟进行了视觉比较。虽然在最上面一行有晴朗的天气点云，但我们从上到下继续，α值分别为0.005、0.01、0.02、0.03、0.06、0.12和0.3，这分别对应于大约600、300、150、100、50、25和10m的气象光学范围（MOR）。在图4中，我们显示了相机同时拍摄的图像。在图6中，我们可以看到，我们的模拟和[1]中的模拟都以类似的方式修改了点云的强度。然而，在图5中，我们可以清楚地看到，与我们的雾模拟相比，[1]中的雾模拟未能复制雾引起的返回。在[1]的雾模拟中，这些回波只有在非常低的MOR（即<25m）时才会变得明显。显然，这与我们在实际测量中看到的情况并不一致。

3. 其他定量结果

  在我们的实验早期，我们发现官方的KITTI[2]3D平均精度指标，对于汽车类、骑车人类和行人类，其交集（IoU）阈值分别为0.7、0.5和0.5，对于在恶劣天气下评估STF[1]来说过于严格。所有报告方法的性能都很低（即，在浓雾测试中，中等汽车和中等行人类别的平均精度最高为24%和16%）。我们得出的结论是，这些IoU阈值对于感兴趣目标的定位过于严格。

  在恶劣的天气中，准确的预测比晴朗的天气更具挑战性，我们声称更重要的是要重视检测本身，而不是严格定位目标。也就是说，接受目标的粗略检测比放弃它要好，因为定位是不精确的。这就是为什么在对STF[1]数据集进行评估时，我们选择将汽车类的IoU阈值放宽到0.5，将骑车人类和行人类的IoU阈值放宽到0.25，从而有效地消除了对定位精度的重视。

  在表1中，我们报告了STF[1]的浓雾测试划分的鸟瞰图（BEV）结果。我们可以看到，正如预期的那样，所有方法和类的BEV性能都略高于3D中的性能，除了少数情况外，使用雾模拟的训练再次优于使用竞争方法的训练。在表2中，我们报告了汽车类在浓雾、轻雾和晴朗测试集上的BEV结果。

  在表3-8中，我们使用官方的KITTI[2]IoU严格度给出了结果，汽车类为0.7，骑车人类和行人类为0.5。对于所有表格，我们使用与主要论文中定量结果相同的快照，这里报告的所有平均精度（AP）和平均精度（mAP）数字再次使用Simunelli等人[7]中建议的40个召回位置进行计算。

图4：图5和图6中显示的点云的相机参考。在右手边我们有空地，而在左手边我们有植被。

References

[1] M. Bijelic, T. Gruber, F. Mannan, F. Kraus, W. Ritter, K. Dietmayer, and F. Heide. Seeing through fog without seeing fog: Deep multimodal sensor fusion in unseen adverse weather. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[2] A. Geiger, P. Lenz, and R. Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012.
[3] A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom. Pointpillars: Fast encoders for object detection from point clouds. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[4] S. Shi, C. Guo, L. Jiang, Z. Wang, J. Shi, X. Wang, and H. Li. Pv-rcnn: Point-voxel feature set abstraction for 3d object detection. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[5] S. Shi, X. Wang, and H. Li. Pointrcnn: 3d object proposal generation and detection from point cloud. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[6] S. Shi, Z. Wang, J. Shi, X. Wang, and H. Li. From points to parts: 3d object detection from point cloud with part-aware and part-aggregation network. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2020.
[7] A. Simonelli, S. R. Bulo, L. Porzi, M. Lopez-Antequera, and P. Kontschieder. Disentangling monocular 3d object detection. In IEEE International Conference on Computer Vision (ICCV), 2019.
[8] Y. Yan, Y. Mao, and B. Li. Second: Sparsely embedded convolutional detection. Sensors, 18, 2018.

表1：STF[1]浓雾测试划分的鸟瞰图（BEV）平均精度（AP）结果。†晴朗天气基线
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

表2：汽车 BEV [email protected]所有相关STF[1]测试拆分的结果。†晴朗天气基线
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

表3:STF[1]浓雾试验划分的3D平均精度（AP）结果。†晴朗天气基线
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

表4：汽车[email protected]所有相关STF[1]测试划分的结果。†晴朗天气基线
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

表5:STF[1]浓雾试验划分的BEV平均精度（AP）结果。†晴朗天气基线
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

表6：汽车 BEV [email protected]所有相关STF[1]测试拆分的结果。†晴朗天气基线
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

表7:STF[1]浓雾测试划分的2D平均精度（AP）结果。†晴朗天气基线
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

表8：汽车 2D [email protected]所有相关STF[1]测试划分的结果。†晴朗天气基线
*雾模拟应用于每个训练示例，其中α从[0，0.005，0.01，0.02，0.03，0.06]均匀采样

图5：按高度（z值）进行颜色编码。

图6：按强度进行颜色编码。