车联网环境下自动驾驶的协同感知技术综述

论文标题：Cooperative Perception Technology of Autonomous Driving in the Internet of Vehicles Environment: A Review
发表期刊/会议： Sensors 2022

协同感知旨在利用无线通信技术将边缘节点获得的环境信息与本地感知信息进行交互融合，从而提高车辆的感知精度，减少延迟，消除感知盲点。本文在分析车联网相关文献的基础上，总结了车联网环境下自动驾驶协同感知技术的多传感器信息融合方法、信息共享策略、通信技术等内容。
1） 根据传感器信息融合的方法，总结并比较了协同感知信息融合方法，如图像融合、点云融合、图像-点云融合等。
2） 对近期通信技术的研究和协同感知技术的共享策略进行了详细的总结和分析。
3） 结合V2X的实际应用，考虑延迟、丢包率、信道拥塞等因素，分析了网络通信性能对协同感知的影响，并讨论了现有的研究方法。
4） 在总结和分析上述研究的基础上，提出了未来协同感知的研究问题，并预测了协同感知技术的发展趋势。

1 引言

3级以上的自动驾驶车辆需要对周围环境进行持续、实时的态势感知，而仅依靠车辆本身的感知能力是难以实现的，原因如下：

• 环境感知信息不充分
  自动驾驶车辆的感知模块主要依靠多个的车载传感器，如LiDAR、照相机、毫米波雷达等。受传感器特性、障碍物遮挡、光照度、恶劣天气等多种因素影响，车辆的感知范围有限，导致视野出现盲区，难以为CAVs提供全方位的感知信息，这将导致CAVs无法及时发现临近的危险。
• 车载计算系统很难实时处理大量的多源异构传感器数据
  各种传感器数据类型没有统一的格式，融合处理也很复杂。此外，对于RGB相机的目标识别网络，数据量大。目前处理海量数据的方法，通常为CAV配备高性能的计算机，这将大大增加CAV的成本。此外，多源和异质传感器数据格式的多样性也将增加数据处理的难度。

为了弥补感知能力和数据计算的不足，需要结合先进的传感技术、边缘计算、通信等技术，构建物联网环境下的动驾驶协同感知系统，增强感知精度，提高感知范围，降低延迟。
V2V和V2I的协同感知是两种主要的实现方式，感知效果也会受到天气、障碍物遮挡、计算能力等多种因素的影响。同时，大量的多源、异构的传感器数据必然对通信性能提出更高的要求。

在整个物联网协同感知系统中，主要包括协同感知数据的融合、处理和共享。其中，多传感器信息融合方法、信息共享策略和通信技术是实现物联网环境下自动驾驶协同感知的关键。
多传感器信息融合是协同感知的先决条件。 与单车信息融合相比，物联网环境下的协同感知多传感器融合具有更丰富的信息源、更广阔的视角、更强的适应性，可以实现更高的感知精度和范围。
无线通信网络在物联网环境下的协同感知中发挥着桥梁作用，这是信息共享的重要保证。
协同感知信息共享策略对于确保感知的准确性和及时性也至关重要。

2 协同感知信息融合

本节总结了图像融合、点云融合、图像-点云信息融合的现有研究和挑战。
总结了AV中常用的基于感知的传感器的优势和劣势，比较了只使用多传感器融合和V2X融合的感知效果：

符号"√"表示传感器在特定因素下能胜任工作。符号"~"表示传感器在特定因素下表现得相当好。符号"×"表示相对于其他传感器，该传感器在特定因素下运行得不好。

2.1 图像融合

图像具有分辨率高、目标分类效果好的优点，视觉传感器的研究和应用较早，价格便宜。
摄像头采集的原始视频数据量很大，每一帧视频的传输都会造成网络过载，增加传输延时，影响协同感知的时效性。
减少传输图像数据的大小：[21], [23]
现有图像融合策略在感知视野和范围方面的局限性和盲点：[24], [25], [27]

2.2 点云融合

来自不同角度和视点的点云数据的融合比图片数据的融合有明显的优势。LiDAR具有空间分辨率高、探测范围广、受光影响小等优点。它在自动驾驶的目标识别、测距和定位应用中发挥着重要作用。

本小节按照数据级、特征级和决策级融合类别对现有研究进行描述和评估，并重点关注丰富的点云数据和有限的网络带宽对协同感知效能的影响。

数据级融合研究起步较早，精度高但数据量大。 这种融合方法不需要对数据进行任何预处理，不同数据处理算法的异质性不会影响车辆之间共享数据的准确性。[29], [30]

特征级融合是指从原始数据中提取特征信息，然后进行融合，这是目前研究最多、应用最广的融合方法，考虑到原始点云数据的共享会受到无线通信网络的带宽和延迟的限制。[31], [32]

决策级融合是指从每个单独的传感器中提取检测到的物体并融合检测结果。融合速度快，更适合于数据共享，但目前这方面的研究还很少。[34] 提出了一个早期融合（数据级融合）和后期融合（决策级融合）的3D目标检测协同感知方案。

按不同融合方式分类的点云融合方法：

2.3 图像-点云融合

单模式的多传感器数据融合总是受到内在和外在条件的限制。摄像头很难检测到目标的深度信息，而且受恶劣天气和光线的影响很大。LiDAR的感知效果差，分辨率低，对远距离的小目标来说成本高。毫米波雷达具有很强的抗干扰能力，但分辨率低，视场有限。

本小节总结分析了目前单车自动驾驶的传感器数据融合方法和挑战，并指出多模态和多层次的传感器信息融合可以大大提高协同感知的效果。

图像点云信息融合是当前物联网环境下自主驾驶协同感知的主流方法。常见的融合方法包括基于卡尔曼滤波的数据融合估计方法；基于贝叶斯的分布式融合方法；以及基于神经网络的方法。[38]，[39]，[40-43]，[44]，[45]，[46]，[47-50]

相机和LiDAR的数据融合具有更丰富的环境信息和更好的目标探测性能。但是，由于线束数量和探测距离的不同，LiDAR采集的环境信息数据量有很大差异，这将对协同感知的实时性和目标识别的准确性产生一定的负面影响。
单车感知[50],[54]
协同感知[4], [52], [53]

在传感器信息融合过程中，传感器的空间和时间对齐是信息融合的先决条件。空间对齐考虑的是来自不同来源的传感器数据目标的坐标转换。相比之下，时间对齐主要关注如何解决从边缘节点收集的传感信息与其他车辆接收的信息之间的时间差问题。 空间对齐通常是基于恒定的转弯率和加速度运动模型。 时间对齐通常使用无痕变换对物体坐标进行变换。
协同感知[55]

2.4 总结

从协同感知信息融合方法的角度总结了物联网环境下自主驾驶的协同感知技术的研究现状，重点总结了图像融合、点云融合、图像-点云融合方法。 通过比较，发现多模态和多视角下的图像点云融合是协同感知的最佳方法。与单车多传感器融合相比，协同感知信息融合在感知范围、准确性和可靠性方面有更多的优势。比较不同阶段的信息融合，处理后的数据的融合和共享不仅可以减少传输的数据量，还可以大大降低网络通信负荷。原始数据的融合和共享更有利于协同感知，但会增加通信负担，并对协同感知结果产生一定的负面影响。

不同传感器融合方法的比较：

3 协同感知信息分享

车辆与边缘节点之间的协同感知信息（CPM）的传输需要一定的带宽，并有严格的延迟约束，这对网络性能提出了更高的要求。车辆的流动性和市场渗透率对协同感知效果和网络通信质量有很大的负面影响。此外，合理的CPM共享策略也非常重要，它定义了车辆共享感知数据的频率以及共享哪些感知数据。因此，合理的网络通信技术和共享策略是必要的。

3.1 协同感知信息共享网络

目前，有两种主要的V2X通信技术，包括专用短程通信（DSRC）和蜂窝式VX（C-V2X）

DSRC

专门用于V2V和V2I通信，优点是传输速率高，延迟低，支持点对点和点对多点的通信。
近年来的研究发现，DSRC不足以支持可靠和高效的V2X应用，特别是在车辆密度高和车辆高速运动的情况下，通信性能将大大降低。

C-V2X

以5G为代表的C-V2X通信具有覆盖范围广、可靠性高、数据容量大等优点，适用于车辆-道路协调和边缘服务器之间的通信。
C-V2X包括长期演进（LTE）-V2X和5G-V2X（NR）技术，具有很高的网络容量和广泛的覆盖范围，可以更好地支持物联网环境下的自动驾驶协同感知，提高数据传输的可靠性，减少传输延迟，并减少网络中频繁的水平切换。
C-V2X在其额外的链路预算、更高的抗干扰能力和更好的非视线（NLoS）能力方面比DSRC具有性能优势。

DSRC和C-V2X技术混合

目前，单一的V2X技术在物联网环境下实现高效可靠的协同感知存在明显的局限性，为此，一些研究人员提出使用DSRC和C-V2X技术的混合解决方案：

这种混合结构使蜂窝网络在稀疏网络中的V2V多跳连接中断时能够备份车辆数据，同时可以根据驾驶场景要求和性能要求自主选择通信模式。DSRC和蜂窝网络的混合架构可以实现具有低延迟和高可靠性要求的V2X应用。

解决车辆高速行驶情况下的网络传输延迟高、可靠性降低等问题 [76]，[77]

目前，智能网联汽车的普及率较低，智能设备的部署和基础设施建设仍需不断努力。因此，市场渗透率是协同感知效果和通信质量不可忽视的重要因素。当普及率过低时，支持数据传输的通信链路可能会因为距离而不稳定，甚至难以匹配到合适的边缘节点。
每辆车都配备了不同配置和数量的通信设备和传感器。利用合作感知信息交互，可以有效降低低穿透率的影响，提高感知范围。

根据市场普及率和车辆动员情况对协同感知信息共享通信技术现有研究的总结：

3.2 协同感知信息共享策略

• 如果合作感知信息共享过于频繁，无线信道将不堪重负，导致信道拥堵。这将导致感知信息年龄过大，降低感知的准确性。同样，共享所有感知数据将导致信息冗余，导致计算和通信资源的浪费。
• 如果部分感知信息被共享，感知将是不完整的，感知的准确性和完整性将被降低。

因此，合理的共享策略对于自动驾驶协同感知尤为重要，包括车辆共享感知数据的频率，共享哪些感知数据，以及共享数据的格式。 ETSI最近批准了一份技术报告，这是第一个对CPM和CPM生成规则进行标准化的提案。CPM生成规则规定了车辆生成和传输CPM的频率以及CPM的内容，包括车载传感器（探测范围、视野等）和探测目标（位置、速度、大小等）。

ETSI的CPM生成规则

车辆必须每隔T_GenCpm检查是否应该生成和传输一个新的CPM，0.1 s≤T_GenCpm≤1 s（默认为100ms）。然而，这些生成规则是初步的，只是第一个建议（因此可能会有变化）。如果车辆检测到一个新的物体，或对以前检测到的任何物体满足以下任何条件，则应生成一个新的CPM。

1. 自上次将其信息纳入CPM后，其绝对位置变化超过4米。
2. 自上次将其信息纳入CPM后，其绝对速度变化超过0.5米/秒。
3. 检测到的物体最后一次被纳入CPM是在一秒或多秒之前。

3.3 网络性能对协同感知的影响

本小节中比较了数据丢包率、延迟和信道拥堵对合作感知的影响，总结和分析了近年来的相关研究。

V2X协同感知中的延时

延时包括任务卸载延时、数据融合计算延时和结果反馈延时。计算任务的大小、无线信道的带宽以及边缘服务器或移动设备的计算能力都对延迟有一定影响。

数据包丢失率

丢包率是目标节点丢失的数据包与源节点应用层发送的数据包的比率。在多种因素的干扰下，如不利的天气、光照、通信质量等，很难避免感知数据在传输过程中的丢失。如果数据丢失严重，将降低感知结果的可靠性，甚至导致协同感知的失败。

信道拥塞控制

分散式拥塞控制（DCC） 主要是解决协同感知信息共享中的信道拥塞问题，提高协同感知信息的及时性和准确性。目前，DCC技术主要通过调整合作感知信息的生成策略和控制传输参数来减少通信信道的拥塞。 其中，调整合作感知信息的生成策略主要是通过优化信息生成规则来减少协同感知信息的冗余度。最常见的控制参数是传输速率控制、传输功率和传输数据速率控制。

为了分析和减少延迟和PLR对网络性能的负面影响，从而提高合作感知的效果。

分析DSRC通信性能的影响因素：
[99]，[100]通信距离和遮挡会对数据包接收率产生一定影响，进而影响感知的有效性。
[101]高信道占用率显然会导致车辆通信能力的下降，不能完全保证合作感知数据的有效传输。
[102]综合考虑了丢包和延迟对V2X数据融合的影响，通过整合V2X通信和车辆本身的信息实现了汽车增强现实，并评估了丢包和延迟的传感器融合的影响。
[104]分析了数据包丢失和延迟对盲点行人碰撞系统的影响。在一定的初始纵向距离下，PLR越高，安全性越低，初始速度越高，极限延迟越小。
此外，V2X通信的性能受通信负载的影响很大，高信道负载水平增加了数据包碰撞的风险。

通信对协同感知性能的影响：
[106]分析了ETSI ITS G5网络对合作感知的影响，包括合作感知信息的生成规则和广播频率对通信渠道的影响。他们通过定义数百辆汽车的受限环境，评估了DCC对合作感知的影响。也就是说，合作感知产生的数据量很容易导致通信信道的拥堵，造成过多的旧感知信息，降低感知信息的准确性。
[108]通过过滤信息中的对象数量，包括对象本身和低动态对象的信息，调整网络负荷，优化感知对象的传输。然而，与此同时，对合作感知的准确性也会产生负面影响。
[109]首次证明了在接入层和设施层加入拥塞控制功能可以通过合作感知改善感知，并保证信息的及时传输。在市场普及率为100%和高交通密度（180辆/公里）的模拟场景中，DCC接入层和设施层的结合，无论是采用反应式方法还是自适应方法，都明显提高了物体感知率。
[110]评估了密集场景中DCC对合作感知的影响，并比较了仅使用合作感知信息传输环境CPM的两种方法。他们指出，高信道负载增加了数据包碰撞的风险，导致数据包传输效率低，通信延迟增加，车辆合作感知的准确性和及时性降低。
[111]改进了根据车辆位置关系和道路结构动态调整传感器传输数据速率的方法[112]。通过自主选择高概率的车辆来广播传感器数据，其他车辆被传感器覆盖的盲点的数据可以被优先传输。该方法减少了无线电流量，增强了对其他车辆的实时态势感知。传输功率控制的研究对提高通信性能有很大影响。

网络性能（延迟、丢包、信道拥堵等）对合作感知的可能影响：

3.4 总结

综上所述，共享网络和信息共享策略是实现物联网环境下自动驾驶合作感知的关键因素。 在网络通信方面，DSRC和C-V2X是实现物联网环境合作感知的关键通信方式。在现阶段，DSRC和C-V2X的混合网络架构可以用来支持物联网应用的多样化需求。随着通信技术的不断提升，需要高可靠性、低延迟和高吞吐量的先进车辆应用将得到更好的支持。对于合作感知信息共享策略，通过对标准CPM规则的分析和改进，根据CPM的重要性和相关性，进一步优化合作感知信息的生成。此外，交通流量、市场渗透率、通信距离等因素都可能造成合作感知信息传输时间长、丢包、信道拥堵等一系列负面影响，降低合作感知的效果。目前，合作感知的通信技术和共享策略的有效性评价指标还没有完善。今后应充分考虑车辆的流动性和市场普及率对通信性能的影响，设计更合理的CPM共享策略和更完善的评价体系。

4 讨论

本节进一步提出V2X和自动驾驶协同感知的研究趋势和需要解决的问题。

4.1. 协同感知信息融合

1. 多模态、多视角的图像-点云融合的协同感知效果最好。
2. 在保证目标检测性能的前提下，应尽量减少低价值数据的传输，提高协同感知结果的准确性和实时性。
3. 车路协同的数据集建设将是保证车路协同算法研究和评估的关键因素。

4.2. 高效可靠的信息共享策略

1. 适当的冗余数据共享有助于提高感知的准确性，但过多的冗余信息显然是无益的。
2. 通过对CPM共享策略的合理优化，有选择地共享车辆感兴趣区域的信息，在及时性和准确性的要求下尽量减少数据的冗余度。
3. 合理的网络技术部署将有效减少通信资源的浪费，在有限的通信资源的约束下，根据不同的交通流量、环境复杂性和车辆动态实现自主车辆之间感知信息的共享。因此，合理的信息共享策略将是未来合作感知研究的重点。

4.3. 车辆的移动性

车辆的移动性是边缘节点和自主车辆之间合作感知的一个主要问题。

1. 车辆的高速移动将导致通信节点的快速移动，网络拓扑结构的频繁变化，以及通信链接时间的不稳定，导致通信链接的频繁连接和断开。最终，V2I和V2V之间建立的链接失效，导致通信和计算任务的传输失败。
2. 车辆的快速移动会引起周围环境的快速变化，导致边缘节点和自主车辆之间的通信出现不同程度的干扰。这导致了数据传输效率和传输质量的变化，通信质量的下降，以及难以保证数据完整性。
3. 如果在数据上传或信息接收过程中，车辆不在通信范围内，任务将失败。

由车辆移动引起的问题，如任务失败、通信链路不畅、传输质量不稳定等，仍应是今后研究的重点。

4.4. 安全性

边缘节点的移动性和网络拓扑结构的动态性给车辆网络的安全性和保密性带来了新的挑战。
边缘节点是以分布式方式部署的，导致单点保护能力低下，受到恶意用户的攻击。
在物联网环境下实现自主驾驶协同感知，不仅需要考虑节点之间的信任问题，还需要关注系统网络的安全性。

研究发现，区块链技术的应用可以有效解决去中心化条件下自主车辆与边缘节点之间合作的安全和隐私保护问题。因此，未来可以利用其去中心化、匿名性、数据不被篡改等特点，在边缘节点和自主车辆之间建立相应的信任机制，解决节点数据的信任问题，减少网络干扰。

5. 结论与展望

1. 介绍了目前协同感知信息融合方法和协同感知信息共享策略，梳理了不稳定通信条件下数据传输过程中的合作感知信息研究方法。
2. 结合现有的研究成果，发现未来合作感知技术的研究应关注更复杂的融合算法设计、轻量级模型以及5G通信技术支持下的V2X应用。此外，把握感知-通信-融合的平衡点，通过协同感知提高自动驾驶的感知性能，实现V2I和V2V之间的优化和平衡，仍然存在着严峻的挑战。
3. 通过对物联网环境下自主驾驶协同感知研究的回顾，总结了研究思路和分析方法，帮助该领域的研究人员快速了解物联网环境下自主驾驶协同感知技术的研究现状，并提供未来的研究方向。