版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Travis_X/article/details/87915462
感知概貌
- 感知是机器人学科的问题,机器人要向人类驾驶员学习,但又不必要完全模仿,扬长避短;
- 感知模块
- 小感知:检测,(语义)分割,(属性)识别,跟踪,融合
- 大感知:标定,定位,障碍物行为预测
- 多维度看感知问题,体会复杂性
- sensor维度(Input):Lidar、Camera、Radar、Ultrosonic、高精地图......
- Target维度(Output):障碍物、车道线和道路边界、红绿灯......
- 问题空间维度:2D算法、3D算法;静态帧检测、时序处理......
- 机器视觉维度:模型计算(high-level)、几何计算(low-level);
- 机器学习维度:深度学习(数据驱动)、后处理(启发式)......
- 系统维度:硬件(sensor和setup,计算资源)、软件
传感器和标定
Lidar
基本上采用的是64线激光雷达
优点:
- 测距精度非常高,可以达到厘米级别;
- 自带光源,不受白天夜晚的环境条件限制。
缺点:
- 64线扫描距离比较远的物体时会比较稀疏,无法识别远处的物体;
- 激光雷达想要发射的更远发射的功率就越大,否则会在空间中衰减掉,但由于出于激光对人眼安全的考虑,它有一个功率限制,因此感知范围有限,大概六七十米左右。
Camera
优点:
- 比较稠密的感知,基本能看清图像中的细节;
- 可以感知的范围比较远,通过配置不同的焦距可以看到几百米以外的物体。
缺点:
- 易受光线环境的影响;
- 由于是单目相机,无法获知深度信息。
Radar(毫米波雷达)
与激光雷达类似,但是发射的不是激光而是毫米波,是主动式的感知,不受光照的影响,可以通过多普勒效应测汽车与障碍物的相对速度。
优点:
- 测距测速都比较准;
缺点
- 噪点比较多,
- 对非金属材质的召回比较低,
- 非常稀疏,无法做识别
Ultrosonic(超声波)
优点:
- 近距离测距;
缺点:
- 感知范围有限;
- 只能在低速环境中做感知。
扫描二维码关注公众号,回复:
5366734 查看本文章
传感器的安装
传感器的标定
传感器的标定问题:讲不通传感器的数据在同一个坐标系里表示。
- 内参:传感器自身性质,例如camera焦距,Lidar中各激光管的垂直朝向角;
- 外参:传感器之间的相对位置和朝向,用3自由度的旋转矩阵和3自由度的平移向量表示。
感知算法
Lidar感知(检测)
- 启发式方法:Ncut
- DL方法:CNNSeg
视觉感知(全面)
- DL检测和分割
- 跟踪,2d-to-3d,多相机融合
- 红绿灯(感知与地图交互)
Radar感知(检测)
Ultrosonic感知(检测)
感知算法:点云感知
点云感知的核心任务是感知障碍物。
启发式方法:NCut
算法思路
- 基于空间平滑性假设:空间上接近的点来自同一个障碍物
- 基于点云构建Graph,G=(V,E,W),
- 把点云检测问题建模成Graph分割问题,一个cluster(Graph分割成一个个小Graph称为cluster)是一个障碍物
- 预处理(ROI过滤,去地面)和后处理(异常过滤)
基于Graph的聚类,是一个经典问题,也是经典谱聚类问题;有很多衍生算法;
优点:解释性好;
缺点:分割规则过于简单,难以应对实际情况;缺乏语义信息。
深度学习算法:CNNSeg
感知算法:视觉感知
历史悠久
- 从视觉ADAS发展而来(Mobileye99年成立)
- 算法轻量级:人工构造特征+浅层分类器;low-level视觉算法
- 已形成应用闭环(车厂+视觉感知供应商)
视觉感知for自动驾驶是一个新事物,深度学习扮演重要角色
- “深度学习+后处理计算”的技术路线
- 计算硬件的升级
- 数据需求量大增
- 如何评估保证安全
算法特点
- 2D感知向3D感知渗透,模型输出更丰富
- 环视能力构建,不仅仅是前向
- 感知+定位+地图紧紧结合
感知算法:CNN检测
CNN检测:深度学习里一个火热的topic
- AlexNet、VggNet、ResNet...
- 参考Kaiming He的系列工作
CV里的检测->AD里的检测
- 第一视觉和结构化道路约束
- 不仅仅输出2D BBox,局部End-to-End
- 3D信息,时序稳定性
- 多任务学习,网络结构适配
- 障碍物,车道线,道路边界,定位元素
- 属性识别:车尾灯,车门关闭
感知算法:后处理计算
2D-3D的几何计算
- 相机pose的影响
- 接地点,2D框,绝对尺寸多条途径回3D
- 稳定性至关重要
时序信息计算:跟踪
- 对相机帧率和延时有要求
- 充分利用检测模型的输出信息:特征、分类
- 可以考虑轻量级Metric Learning
多相机环视融合
- 相机布局决定融合策略
感知算法:红绿灯
任务描述:距离停止线50~-2m,精确识别红绿灯亮灯状态。
难点:
- 绿灯准确率高(3个9)否则闯红灯,召回影响通过率和体验
- 各种环境都work(光照和天气)
- 各种制式红绿灯都可识别(距离,高度,纵横,信号形状,频闪)
技术路径
sensor选型和setup,获取最大可视范围
- High-Dynamic Range(HDR)高动态比大于100dB,1080p
- 双camera,长短焦切换,6mm+25mm
高精地图交互,增加在线识别鲁棒性
- 地图提供灯组3D坐标和交通含义
- 只看ROI区域,避免形状识别
深度学习,应对apperance变化
- 检测:灯组/灯头在哪?
- 分类:什么颜色?
感知算法:Ultrosonic感知
主要用在倒车和特别近距离的感知,对自动驾驶来说用处并不大。
感知中的机器学习
- 不同于一般的机器学习应用,对准、召、延时要求极其严格
- 如何应对corner case?
- 训练和测试的独立同分布
- 训练时封闭集,测试是开放集
- 可解释性是否需要?
- 如何评估模型?如何回归测试?如何得到使用边界?
- 不仅仅是深度学习
- 还需要其他非机器学习方法,如何融合两种方法?
- 也需要其他机器学习方法
- 有监督学习可以走多远?
- 与人的学习能力相比,光靠有监督学习还太弱了
感知的未来
- Sensor迭代非常快
- 深度学习+仿真数据+车载AI芯片
- 智能交通设施,V2X普及
- 人工智能技术进一步提升