感知
感知介绍
感知是无人驾驶技术中十分重要的一环，一般可 以用静态摄像头和其他传感器来感知环境，需要 用到大量计算机视觉技术，这里最广泛使用的是 CNN卷积神经网络。
计算机视觉
计算机视觉是指计算机看待和理解世界的方式。
感知任务有四个核心任务：
1.检测：是指找出物体在环境中的位置
2.分类：是指辨别出物体是什么
3.跟踪：是指随时间的推移观察移动物体
4.语义分割：将图像中的每个像素与语义类别进行匹配
实现流程
1.计算机接受类似摄像头等成像设备的输入
2.对输入图像做预处理
3.提取特征
4.分类模型，使用特征来做分类
摄像头图像和Lidar图像
图像种类分为摄像头图像（最常见的图像数据）和LiDAR图像。
摄像头图像：对计算机而言是一个图像矩阵有二维灰度像素值网络和彩色图像； 彩色图像被构建为值的三维立方体，每个立方体 都有高度、宽度和深度，深度代表的是颜色通道，大部分彩色图像有3种颜色通道即RGB，这些图像也称为RGB图像。
LiDAR图像：激光雷达传感器创建环境的点云表征，可以提供距离和高度的信息，这些点云信息可以告诉我们关于物体的许多信息，如纹理和形状；通过对点进行聚类和分析，这些数据提供了足够的对象检测、跟踪和分裂信息。 激光雷达数据提供了用于构建世界视觉表征的空间信息。
机器学习
机器学习是使用特殊算法训练计算机从数据中学习的计算 机科学领域，涉及使用数据和相关的真值标记来进行模型训练。分为监督式学习、无监督学习、半监督式学习、强化学习。
神经网络是人工神经网络是通过数据来学习复杂模式的工具，由人工神经元组成，它们负责传递和处理信息。人工神经网络将通过密集训练，自行调整对应节点参数，最后形成一个有效的模型。
反向传播算法是神经网络学习训练的算法，由三步循环组成：前馈、误差测定、反向传播前馈随机分配初始权重，通过神经网络来馈送每个图像，产生输出值误差测定误差是真值标记与前馈过程所产生输出之间的偏差反向传播通过神经网络反向发送误差，类似反向传播的前馈过程。
卷积神经网络是一种人工神经网络，对感知问题特别有效接受多维输入，可以维持输入像素之间的空间关系，通过对图像进行扫描，一次对一片区域进行 处理，亦称“卷积”。
检测与分类
检测与分类是对于图像中的不同对象，计算机首先要知道它们的位置，然后再进行分类。
有两种实现方案：
1.多个cnn合作进行 首先用检测cnn来查找图像中的对象的位置，定 位后，可以将图像发送给另一个cnn进行分类
2.单一cnn体系结构通常在单个网络体系结构的末端附加几个不同的“ 头“，一个头执行检测，一个头执行分类 经典的体系结构为R-CNN，及其变体Fast R- CNN、Faster R-CNN。
跟踪
对每帧的每个对象进行检测并用边界框对每个对象进行标识 。追踪在检测失败时是至关重要的，可以解决遮掩问题；追踪可以保留身份 。
要实现跟踪首先是确认身份， 通过查找特征相似度最高的对象，将在之前帧检 测到的所有对象与当前帧检测到的对象进行匹配确认身份后，再使用对象的位置并结合预测算法，以估计在下一步时间的位置和速度。
分割
分割涉及对图像的每个像素进行分类，用于尽可能详细地了解环境，并确定汽车可行驶区域语义分割依赖于一种特殊类型的cnn，即全卷积网络（FCN）
FCN：用卷积层来替代传统CNN体系结构末端的 平坦层，此时网络中的每一层都是卷积层 FCN提供了可在原始输入图像之上叠加的逐像素输出。网络的前半部分称为编码器，对输入网络的特征 进行了提取和编；后半部分称为解码器，对这些特征进行了解码，并用于输出。
Apollo感知
Apollo开放式软件栈可感知障碍物，交通信号灯和车道线。
Apollo在高精度地图上使用感兴趣区域（ROI)来重点关注相关对象。ROI过滤器应用于点云和图像数据，以缩小范围并加快感知。然后，通过检测网络馈送已过滤的点云，输出用于构建围绕对象的三维边界框。最后，使用被称为检测跟踪关联的算法，来跨时间步识别单个对象。该算法先保留在每个时间步要跟踪的对象列表，然后再下一步时间步中找到每个对象的最佳匹配。
Apollo使用YOLO来检测车道线和动态物体，包 括车辆、自行车和行人。YOLO网络检测后，在线检测模块会并入来自其 他传感器的数据对车道线预测进行调整，车道线 最终并入”虚拟车道“的单一数据结构中。 同样，也通过其他传感器的数据，对YOLO网络 检测到的动态对象进行调整，以获得每个对象的 类型、位置、速度和前进方向。
感知器数据比较
感知器融合策略
感知器融合策略用于融合输出的主要算法为卡尔曼滤波，有两个步骤：
1.预测状态 从已掌握状态来做预测
2.更新预测结果 用传感器来更新状态。有两种更新步骤：同步融合-同时更新来自不同传感器的测量结果。异步融合-逐个更新所受到的传感器测量结果。卡尔曼滤波算法是预测和更新步骤的无限循环。
