最近要开始做一个关于多模态数据融合BEV感知的项目，先自学一下BEV下传感器融合感知。BEV无非是一种视角，以往的算法基本上都集中在前视的感知上，但是当需要的传感器多起来之后，再使用前视便浪费了资源，也不方便融合。比如一辆车装了环视相机和360°激光雷达，如果只用前视感知，则浪费了数据，如果采用分别融合，那环境中的目标无法很好地融合。而如果都使用BEV视角，则可以很好地结局这个问题。以CL为例，即把图像数据和点云数据都投射到BEV视角下在进行融合，这样不仅方便融合，提高了数据的利用率，而且还能方便后续的处理，我们知道后续的可通行区域检测、路径规划等都需要在BEV视角下完成。
说完了融合需要在BEV下进行的必要性，下面继续讲方法，我们只道，对于本来就是3D的点云数据来说，BEV只是一种更低级的表达方式，简答说只需要忽略Z轴上的信息即可，也就是从上向下看点云。而图像投射到BEV空间就没这么简单了，本来图像是竖直的并且没有深度信息的，却需要让它变成水平的而且具备深度信息。天无绝人之路，以往的两种方法可以用在这里。那就是逆透视投影(IPM)和LSS。逆透视投影是一个很老的方法了，把环视相机的图像投射到地平面上，常用于倒车影像，这个技术我在之前调研自动泊车的时候了解过。而LSS是一种把2D图像投射到3D空间的技术，然后再把3D信息压缩到BEV平面，就可以与BEV下的点云进行融合了。为了不让数据过于耦合，过于相互依赖，我读了几篇论文基本都把融合放在很靠后的位置，即先提取各个传感器的特征，然后变换到BEV视角下，在进行融合。这样即使某个传感器失效，也不影响其他传感器把自己的特征用于检测。
总结一下上面讲的pipeline，就是各个传感器先各自提取特征与转换到BEV视角，然后再进行融合，融合的方法基本都有提到TransFusion。这个pipeline在好几篇论文中都有看到(两个BEVFusion肯定是的)。至于还有没有其他的暂时就不知道了，期待后面有新的发现。