点击下方卡片，关注“自动驾驶之心”公众号
ADAS巨卷干货，即可获取
论文作者 | 汽车人
编辑 | 自动驾驶之心
自动驾驶模仿学习如何提高交通规则合规性
“原标题：What Matters to Enhance Traffic Rule Compliance of Imitation Learning for Automated Driving
论文链接：https://arxiv.org/pdf/2309.07808.pdf
代码链接：https://github.com/hk-zh/p-csg-plus
作者单位：Huawei Munich Research Center，Technical University of Munich
”
论文思路：
最近，更多的研究注意力集中在端到端自动驾驶技术上，其中整个驾驶流程被单个神经网络取代，因为其结构更简单，推理时间更快。尽管这种吸引人的方法很大程度上减少了 driving pipeline 中的组件，但其简单性也导致了可解释性问题和安全问题[1]。经过训练的策略并不总是符合交通规则，而且由于缺乏中间输出，也很难发现不当行为的原因。同时，传感器对于自动驾驶在复杂驾驶场景下感知周围环境的安全性和可行性也至关重要。本文提出了 PCSG，一种新颖的基于惩罚的模仿学习方法，采用跨语义生成(cross semantics generation)传感器融合技术来提高端到端自动驾驶的整体性能。本文使用 Town 05 Long 基准对模型的性能进行了评估，驾驶分数显着提高了 15% 以上。此外，本文针对 FGSM 和 Dot 攻击等对抗性攻击进行了稳健性评估，结果表明与基线模型相比，稳健性大幅提高。更多详细信息，例如基于代码的资源、消融研究和视频，请访问 https://hk-zh.github.io/p-csg-plus。
主要贡献：
本文的创新多传感器融合技术涉及对齐来自不同模态的共享信息，从而简化了跨不同模态提取全局上下文的过程。
本文提出的了一种基于惩罚的模仿学习方法，该方法利用约束优化使模仿学习模型对违反交通规则的行为更加敏感。
本文分析了本文的自动驾驶模型在两种对抗攻击下的性能和鲁棒性:FGSM和Dot攻击。结果表明，从安全性的角度来看，本文的模型优于其他基线。
网络设计：
神经网络中的感知组件用于提取有关周围环境的基本信息。尽管一些基于激光雷达的方法 [4] [5] 利用激光雷达传感器输入和高清地图展示了令人印象深刻的性能，但依赖高清地图并不是一个可行的选择，因为它需要大量资源来创建和维护，并且可能无法普遍用于所有地区。因此，越来越多的研究 [6] [7] [8] [9] 最近集中在多模态传感器融合（例如激光雷达和摄像机）上。传感器融合技术广泛应用于2D目标和3D目标检测。按激光雷达输入的点云表示类型分类，存在三种主要方法，即基于点的、基于体素的和 range-view-based 的方法。最近，随着注意力机制Transformer[20]模型的流行，许多研究人员正在尝试使用Transformer来整合多模态信息。尽管这些模型表现出融合能力，但它们的尺寸需要更大的计算能力，并且还会导致更长的推理时间。本文改变了方法，放弃使用Transformer，而是通过从不同模态中提取和调整共享信息，使模型能够以多模态提取全局背景。
通过结合上述两项改进，本文提出了基于惩罚的模仿学习与跨语义生成(Penalty-based Imitation Learning with Cross Semantics Generation)（P-CSG）。本文在 Town 05 Long Benchmark 上评估本文的模型，它实现了最先进的性能。
图1:这是本文提出的基于惩罚的跨语义生成的模仿学习的概述。让我们从第一个特征提取部分开始。将自顶向下的LiDAR伪图像输入到ResNet18架构中，从LiDAR输入中提取特征。前摄像头图像被输入到ResNet50架构中，以从摄像头输入中提取特征。然后进行跨语义生成，在前图像和LiDAR伪图像的框架内 cross-generate 前图像和自顶向下的语义分割。本文应用对比损失对齐共享的特征的摄像机和LiDAR输入。利用潜空间中重采样的共享嵌入生成路径点。从前置摄像头图像中提取的特征也被用来执行辅助任务“停止标志指示”和“红灯指示”。在基于惩罚的模仿学习中，将LiDAR特征、摄像机特征、共享特征和测量值串接并输入MLP网络进行降维。采用GRU结构周期性地生成waypoints，也以目标位置作为输入。生成的waypoints将被应用三种处罚，即红灯处罚、停止标志处罚和速度处罚。PID控制器的任务是将waypoints映射到转向、油门和刹车的动作中。
实验结果：
引用：
Zhou, H., Sui, A., Cao, W., & Shi, L. (2023). What Matters to Enhance Traffic Rule Compliance of Imitation Learning for Automated Driving. ArXiv. /abs/2309.07808
投稿作者为『自动驾驶之心知识星球』特邀嘉宾，如果您希望分享到自动驾驶之心平台，欢迎联系我们！
① 全网独家视频课程
BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）
视频官网：www.zdjszx.com
② 国内首个自动驾驶学习社区
近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！
③【自动驾驶之心】技术交流群
自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）
④【自动驾驶之心】平台矩阵，欢迎联系我们！
