作者 | 游振兴 编辑 | 汽车人
原文链接：https://zhuanlan.zhihu.com/p/675438765
点击下方卡片，关注“自动驾驶之心”公众号
ADAS巨卷干货，即可获取
点击进入→自动驾驶之心【SLAM】技术交流群
本文只做学术分享，如有侵权，联系删文
前言
Image Radar即4D 毫米波雷达，它输出3D位置+径向速度，相对于传统的3D毫米波雷达（2D位置+速度）多了一维高度信息输出。Image Radar具备传统3D雷达所有的特点，同时弥补了后者高度信息缺失导致的一系列问题。在特斯拉在其下一代V4智驾硬件上接入Image Radar[1]后引起了行业内的关注。Image Radar在成本以及雨雪等极端天气上表现上优于激光雷达，因此，基于Image Radar设计自动驾驶的感知和定位方案，可能会是接下来两年的一个热点的研究方向。
硬件原理和信号处理
ImageRadar的硬件原理
这部分可以参考[2]，在硬件上，和3D毫米波的主要差异在于Image Radar多了垂直方向的天线排布(如下图绿色框所示)，这些天线实现了垂直方位的测量，进而可以解算出高度信息，但同时也给信号处理算法带来了新的挑战。
Image Radar的测量原理
这部分主要参考[3], ImageRadar的速度测量原理主要是借助多普勒效应，距离测量借助发送和接收信号的时间差，这是中学教材上就熟悉的物理知识。这里稍微复杂的是目标的方位测量，方位测量主要借助多输入多输出技术(MIMO),n个发射端(TX)和m个接收端(RX)构成了n乘m个TX-RX对。某个发射端发送的信号会被不同的接收端接收，构成多个TX-RX组合，而不同的TX-RX组合接收到的信号有不同的相位差，这个相位差可以转换为距离差，借助不同TX-RX接收同一个target信号的距离差和不同TX-RX天线对在硬件上的外参关系，可以解算出target的方向。由于存在多组发射端，为了区分不同的发射信号，不同的发射端的信号是互相正交的。
提升测量精度的方法
提升ImageRadar的方法分为硬件方法和软件方法两种方式[3]。硬件方式上，目前多采用多片级联(cascading)的方式提升测量精度，这种方式通过增加TX-RX对数提升分辨率，是一种比较直观且朴素的方法，也是目前的主流方法，这种方法的缺点是尺寸和功耗会增加。上图1展示的硬件即4片级联的方式。此外，也可以通过提升单个芯片集成的天线数量提升测量精度，是目前比较有潜力替代级联的方案，但是天线间的干扰增加，目前主要处于前沿探索阶段。
软件方式上，可以使用虚拟孔径成像(Virtual aperture imaging)技术，它通过软件方法扩大天线的虚拟孔径，比较明显地提升角度分辨率，一般需要和级联搭配，降低信号干扰。以及超分辨率算法，通过设计新的信号处理方法，优化目前基于FFT算法的信号处理流程，提升精度。
噪声特性和滤波方法
ImageRadar的信号噪声和处理方法和传统的3D毫米波雷达相似，主要包括斑点噪声和多路径反射两种噪声信号的干扰[3]。在噪声信号处理上，也可以借鉴传统的3D毫米波雷达的信号处理方法，常用的比如CTFR滤波和速度滤波等。
Speckle Noise 斑点噪声: 天线发送的电磁脉冲信号，与环境物体相互作用，导致天线接收到的是被干扰的信号，在没做任何处理的情况下，产生了斑点分布的点。
Multipath 多路径反射: 对于同一个物体，产生了多个不同的检测路径，信号在返回过程中，除了直接返回的信号，也存在被墙体，地面反射的信号，这些信号对于接收源来说，看起来就是在地下或者墙体后面有一个goast-object,是一个静态的outlier
斑点噪声(speckle noise,青色)和多路径反射噪声(multipath-reflections noise,红色)表现如下：
数据格式：4D Tensor VS PointCloud
一般地，我们从Radar上获取的是稀疏的点云形式+速度测量，但在点云数据格式之前，存在一种4D Tensor的更稠密的信息表达形式，相对于稀疏点云形式，它包含了更多的关于目标特性的信息，学术上尤其是感知领域，也有讨论使用4D tensor作为信息输入的算法方案[3][4]。
算法方案
针对于Image Radar的SLAM方案，我和团队小伙伴做了一些调研，目前已有的方案[6][7][8][9][10]的实现思路，主要集中在如何充分利用Image Radar提供的多普勒速度测量上，来弥补Image Radar点云过少的问题。
这里的基本思路是：对于空间中静止的物体和环境，其反射点提供的多普勒测量速度，根据相对运动，反馈的即是车体本身的速度，即每个静止点都提供了车体本身的速度观测，这是一个非常强且有用的约束。
以其中比较经典的DICP[6]算法为例，它推导了基于多普勒速度的观测方程，且这个观测方程仅和点的测量速度有关，与所处环境的空间结构性无关，可以弥补ICP在非结构化场景下的约束退化问题。方案采用ICP约束和多普勒速度约束两种形式的观测进行状态估计。4d iRIOM[7]融合了Image Radar 和 IMU信息，实现了类似LIO的算法框架，对于多普勒速度的使用上，则是先用多个静止测量点的信息，解算出车体速度，然后将这个车体速度结果作为车体速度状态的观测，核心也是基于静态点的多普勒速度是车体速度的测量的事实。
基于以上思路的Image radar SLAM算法，和传统的激光SLAM算法方案相比，除了需要做一些radar噪声信号的特殊处理之外，静态点的筛选策略也是比较关键的部分，其中借助IMU或者轮速计的测量辅助进行静态点筛选，在实际工程中会是比较实用的方式。
除此之外，Image Radar的反射特性不同于大部分的激光雷达，也会给算法研发带来一些新的挑战。比如，对于Image Radar，其在金属物体的反射强度会比较好，对于塑料以及水泥墙体的反射效果会差一些，此外，地面点一般也会当做杂波给滤除，这些都会造成Image Radar 的点云分布和激光雷达的点云表现不太相似。考虑到Image Radar点云的实际表现，索性扔掉点云观测，仅使用其多普勒速度测量，结合IMU和轮速观测，实现一种增强型的DR，倒也不失为一种比较实际且节省算力的方案[10]。
即使挑战重重，作为一种低成本提供深度测量和速度测量的传感器，Image Radar仍然是一种可以充分讨论和探索的实现SLAM技术的传感器之一。
Reference
[1] 特斯拉HW4.0硬件升级信息汇总
[2] 浙商汽车实验室-4D毫米波雷达拆解
[3] 4D Millimeter-Wave Radar in Autonomous Driving: A Survey
[4] A New Wave in Robotics: Survey on Recent mmWave Radar Applications in Robotics
[5] K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions
[6] DICP: Doppler Iterative Closest Point Algorithm
[7] 4D iRIOM: 4D Imaging Radar Inertial Odometry and Mapping
[8] Instantaneous ego-motion estimation using Doppler radar
[9] 4DRadarSLAM: A 4D Imaging Radar SLAM System for Large-scale Environments based on Pose Graph Optimization
[10] Need for Speed: Fast Correspondence-Free Lidar Odometry Using Doppler Velocity
投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！
① 全网独家视频课程
BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）
视频官网：www.zdjszx.com
② 国内首个自动驾驶学习社区
近2400人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！
③【自动驾驶之心】技术交流群
自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）
④【自动驾驶之心】平台矩阵，欢迎联系我们！
