Cooperative Perception in an Automotive Context 综述

论文标题：Survey on Cooperative Perception in an Automotive Context
发表期刊/会议： IEEE Transactions on Intelligent Transportation Systems 2022

本文旨在提供V2V和V2I的协同感知方法的最新情况。review了汽车背景下的协同感知，重点主要是在自车上，如定位、地图生成等。

1 引言

REFERENCES [1]-[10]
无人驾驶汽车的背景、发展历程---->协同驾驶：v2v到v2I

V2X协同感知pipeline的经典方案：（主要的感知任务：定位、目标检测和跟踪、地图生成。）

合作可在三个层次的数据共享中进行：
1）早期融合阶段（原始数据）：由传感器在给定的时间戳提供的数据被汇总，并与传感器之间的给定转换相关。原始数据来自于进行早期融合的连接用户。来自自我的车辆的原始数据也可以与其他用户共享。
2）中期融合阶段（预处理数据）：有两个并行任务在运行，两者共同执行感知的核心，输出可与其他用户共享的特征级数据。
a. 通过传感器估计车辆在环境中的位置，也可以从其他用户的测量结果中获益，作为一种帮助。
b. 对场景中的物体进行检测和跟踪。它也可以从连接的用户的数据中获益，以加强对环境的整体感知。
3）后期融合阶段（处理过的数据）：以使用给定的先验地图为基础，并与连接的用户进行合作更新，以建立一个地图，从而为以前获得的数据提供背景。

2 COOPERATION的基本原理

[11]-[45]
1.首先，简要review了经常使用的传感器以及它们在非合作环境中的表现，以提供一个参考作为比较的基础。
2.任何合作系统的另一个不可避免的要点是通信设施，它定义了哪些数据可以被共享以及可用的格式。
3.创建合作感知系统的方式是多种多样的，需要评估几种类型的结构。 每种设计都有优势和劣势，并将深刻影响系统的反应以及它的优势和劣势。review了合作系统带来的挑战

2.1 Sensing Modalities

[11]-[36]
传感器是任何感知系统的基础，因为它们使我们能够感知自己以及周围的环境。介绍了传感器并比较了它们的性能。

2.1.1 全球导航卫星系统

[11]-[16]
当涉及到位置时，由美国发起的全球定位系统（GPS）是最广泛使用的。

2.1.2 摄像头

[17]-[21]
摄像头可以用来检测和跟踪障碍物（行人、汽车、动物）。

2.1.3 雷达(RADAR)

[22]-[24]
与照相机相比，雷达的角度分辨率较低。这一特点使它们不太适合于对感知的物体进行分类。然而，它们在距离和速度测量方面的准确性要比照相机好得多。

2.1.4 激光雷达(LiDAR)

[25]-[30]
LiDAR（光探测和测距）可被视为雷达和相机之间的中介。 在三维空间中提供一个点的列表。 这些点是从激光束形成的角度和传感器与撞击的距离中提取的。 由于角度分辨率比雷达薄，除了能够更准确地定位外，还可以对探测到的物体进行分类。

2.1.5 超声波

超声波传感器的缺点是它们的角度分辨率很低，需要太重要的计算成本。此外，它们对天气条件和物体快速移动时的多普勒效应非常敏感，而且范围很短。这些因素使得这种传感器不适合于障碍物定位和分类的应用。

2.1.6 基于射频（RF）的方法

在承载移动用户的合作环境中，无线通信可以被用作传感器，特别是用来估计接收器的位置。可以使用各种无线电信号源，如蜂窝网络或由锚点组成的基础设施，如允许厘米级定位的超宽频（UWB）系统。
位置估计方法一般是基于测量发射器和接收器之间的距离。 因此，有四种主要的位置估计方法：接收信号强度指示（RSSI）、到达时间（TOA）和到达时间差（TDOA）、到达角度（AOA）、指纹。

2.2 通信

[46]-[54]
为了使覆盖区域的图像更加密集，车辆与其他agent分享数据。

2.2.1 打包和分享数据

C-its和DSRC定义的标准，以及与OSI模型对比的组成部分。C-its定义的标准用绿色表示，DSRC定义的标准用蓝色表示。

基本传输协议（BTP） 和 WAVE短消息协议（WSMP） 是为了实现网络和传输层任务。以agent的地理位置为基础，确定数据的路径。 与DSRC协议共享的信息被打包在基本安全信息（BSM）中，它传达了关于发送车辆的信息以避免碰撞。C-ITS引入了合作意识信息（CAM），也像BSM一样传达车辆信息，但也引入了分布式环境通知信息（DENM），通知道路上的危险，其优先级比CAM高。信号相位和时间（SPaT）消息，DSRC的BSM来通知基础设施检测到的车辆的存在。为了应对这些新的需求，诸如信号相位和时间（SPaT）等消息以及道路拓扑数据（MAP）、特殊车辆（SRM、SSM）、**探测车辆数据（PVD、PDM）和车内信息（IVI）**的信息也正在被标准化。

2.2.2 通信设备

介绍一些最广泛使用的通信设施

2.3 设计和挑战

[55]-[58]
当几个用户彼此互动时，必须定义通信的组织，两种主要的方法：集中式的和分布式的。 然而，无论选择何种方法，合作都会带来新的挑战。

2.3.1 集中式方法。

用户将他们的采集数据共享给一个单一的点，例如一个路边的处理单元。这个服务器负责处理数据并从中提取有用的信息，然后与用户共享。这种解决方案的主要缺点是，这种架构的效率主要依赖于处理单元的处理能力。

2.3.2 分布式方法

用户获得的数据直接同时传输给所有车辆。因此，这些数据的处理是在每辆车上完成的。然而，视野覆盖质量取决于用户车队的规模。

2.3.3 对比

集中式和分布式方法都有一些优势和弱点

现在大多数合作应用都是基于V2V方法的，分布式方法是最常见的。而基于集中式方法的应用越来越多，特别是在MEC-View[59]、[60]和Providentia[10]等项目中。

2.3.4 合作面临的挑战

[61]-[65]

1. 多模态：和非合作系统一样，从传感器获得的数据的类型多样性带来的困难以及来自采集硬件校准的困难也是存在的。多模式的选择是为了满足不同的需求，即由相机进行的检测和分类，以及由雷达进行的距离和速度测量。 解决多模态和校准挑战的另一种方法是在本地处理每个传感器的数据，并以信息的形式分享输出。然而，数据关联是一个具有挑战性的话题，必须在之后的聚合步骤中进行。
2. 校准：校准的目的是确定传感器之间的转换，以便能够至少在一个给定的帧中合并从几个视图中获得的数据。如果这项任务在单个agent上已经很有挑战性，那么在多移动用户环境中就会变得更加费力。在这种情况下，传感器之间的转换矩阵随着车辆在场景中的移动而不断变化。现在，最广泛使用的方法依赖于绝对坐标，和在感知部分评估的pose估计性能。
3. 同步：校准依赖于元素的同步，以确定传感器之间的转换，特别是与移动传感器。有多种不同步的来源，如时钟之间的偏移或通信延迟。 虽然时钟是同步的，但不能确保它们的采集是在同一时刻被触发的，这就增加了合并所获数据时的不确定性。同样，不同的采样率需要在获取或预测的数据之间进行插值，这也增加了不确定性。
4. Point of views：在一个以基础设施和移动用户为特征的场景中，Point of views可能是极其不同的。 因此，对一个物体的观察根本上是不同的，甚至可以被认为是不重叠的数据。
5. 感知匹配：由其他agent感知并分享给自车的物体与本地传感器感知的物体之间的感知匹配是一个典型的挑战。

3 定位

一个传感器的准确性和可靠性的提高通常与它的价格成正比，车辆合作可以通过增加分布在其他用户或基础设施上的传感器的数量，从而降低每辆车的成本。这种合作可以在几个估计层次上实现，从最低层次的分享原始传感器结果到更高层次的分享估计坐标。

3.1 Low-Level协同位置估计

GNSS是最常用的协同位置估计，其使用多方位测量技术，通过测量一个点与几个锚点之间的距离来估计该点的位置。在这里，GPS卫星被用作已知位置的锚点，因为除了传输传输时间以估计卫星和接收器之间的距离外，它们还传输它们的轨道参数（历书），以根据日期重新计算它们的位置。

1. 多方位测量：使用接收器和锚之间的距离，对接收器的位置进行估计。
2. 三角测量法：使用锚发射的信号的入射角，对接收器的位置进行估计。
3. 几何学方法：将用户定位在观察者（车辆或基础设施）的局部坐标系中，观察者的全局位置是已知的。为了在局部坐标系中定位用户，可以使用几个传感器，如照相机、雷达或激光雷达。

3.2 High-Level协同位置估计

使用对已经建立的位置的估计作为完善位置的基础。
1. 扩展卡尔曼滤波（EKF） ：在位置估计应用中，最流行的方法之一，用其他车辆的位置估计值来丰富GNSS系统获得的位置估计值，并通过使用EKF来整合这些数据。但是，EKF只适用于具有高斯分布噪声的局部线性信号。
2. particle filters粒子滤波器（PF）
3. Graph-based 方法

使用基于优化和过滤方法的High-Level方法：
1）与Low-Level方法兼容。Low-Level方法的输出是位置估计；而High-Level方法的输入是位置估计，目的是以完善输入的位置估计。因此，High-Level方法用来改进那些用于位置估计的方法。但是，High-Level方法需要基本的组件来获得首个位置估计，不能单独使用。
2）大大减少了所需处理的数据量，有利于用户之间的通信。

4 目标检测和跟踪

为了在环境中导航，需要检测场景中的障碍物并跟踪它们。

5 MAP GENERATION

自车定位以及目标检测和跟踪可以在地图中合并，可以通过聚合多个agent的信息来合作建立地图。协同地图生成的目标是通过预测用户路线上的不同事件来优化路线和调整车辆导航，进一步的，可以实时预测轨迹（由于共享数据的低延迟和更好的准确性）。

5.1 几何地图

几何地图是由描述环境的矢量元素组成的。

5.2 Volumetric Maps

与几何地图不同的是，体积地图是代表障碍物存在与否的原子元素，它形成了一个由相互毗连的方格或任意散布的网格。
Volumetric Maps可以很容易地从传感器数据中创建，因此代表了数据采集时的直接环境。占用网格属于体积地图的范畴，形成一个类似于图像的二维网格或矩阵。事实上，可以拍摄一张灰度图像，其中每个像素对应于环境的一个区域，灰度代表该像素对应的区域包含障碍物的概率。这些地图的优点是它们可以非常容易地结合起来。

6 REVIEW AND SUMMARY

通过一个总结表来总结所引用的技术，并提出SWOT分析。

7 在现实生活中的协同感知

合作带来真正优势的场景，并通过实验加以说明。

7.1 应用场景与实验

合作感知对安全问题做出了回应，更具体地说，是与盲点缺乏能见度有关的问题。这种能见度的缺乏可能是由场景的结构或其他用户引起的。可以举个例子：行人想过马路却被停放的车辆遮挡，甚至车辆出现在十字路口却被建筑物遮挡。

7.2 数据集

对合作车辆日益增长的兴趣启动了对一些数据集的共享。然而，它们解决的是特定的环境，如通信或基础设施的感知。
a) Ko-PER（V2I）：由14个激光扫描仪（4个用于道路，2个用于人行道，8个用于出口）和8个单色摄像机（由于个人数据保护的目的，数据集中只有两个可用）监测一个十字路口的序列组成。激光扫描仪是同步的，以12.5H z的速度运行，而摄像机则以25H z的速度与激光扫描仪同相运行。扫描仪的原始数据和摄像机的未失真图像与选定车辆和物体标签的参考数据一起提供。
b) Warringal[100]。由13个元素组成的车队的车辆之间3年内的通信互动。包括车辆的状态、每次通信的列表及其长度、每次通信的信号强度（如RSSI或每辆车使用的天线）和地图。
c) T&J 。这个数据集的创建是为了补充KITTI的数据集，增加了一个合作维度。与KITTI数据集一样，该数据与GPS和IMU相连，但提供不同位置的同步视图。

缺乏协同感知数据集，以上现存的数据集要么只涉及基础设施，要么只涉及V2V合作。

模拟器：允许从多个角度同步获取数据，还解决了ground truth 定义的问题以及校准的挑战。
CARLA是目前最流行的模拟器：它提供了几个传感器，如相机、深度相机、LiDAR（模拟射线投射）、IMU和RADAR。

8 结论和展望

1）协同感知pipeline的不同阶段及其相关挑战
2）现存的解决定位问题的方法
3）协同目标检测和跟踪
4）协同地图生成 （更好地预测轨迹和可能的调整）
5）缺乏以场景中不同行为者的多个视角为特征的数据集， 这些数据集是合作感知的一个真正的关键点。

概述了可用于创建这样一个协同感知系统的架构，以及合作所带来的挑战。 描述了感知中涉及的主要模块：定位、物体检测和跟踪、地图生成。还提供了合作感知的优势、劣势、机会和威胁（SWOT）分析，以及相关场景和实验的清单。最后，列出了一些相关的数据集，强调了进一步工作的前景。