1 自动驾驶分级
按照美国国家公路交通安全管理局指定的定义：
Level 0：无自动化，司机对汽车所有功能拥有绝对控制权。任何驾驶辅助技术（前向碰撞预警、车道偏离预警、自动前灯控制等），只要仍需要人为控制汽车，都属于Level 0。
Level 1：单一功能级的自动化，驾驶员仍然对行车安全负责，驾驶员无法做到手和脚同时不操控。不过可以放弃部分控制权给系统管理，某些功能已经自动进行，如自适应巡航、应急刹车辅助、车道保持等。
Level 2：部分自动化，司机和汽车分享控制权，驾驶员在某些预设环境下可以不操作汽车，即手脚同时离开控制，但驾驶员仍需要随时待命，对驾驶安全负责，并随时准备在短时间内接管汽车驾驶权。如结合了自适应巡航和车道保持的跟车功能。Level 2的核心在于驾驶员可以不再作为主要操作者。
Level 3：有条件自动化，在有限情况下实现自动控制，比如在预设的路段（高速和人流少的城市路段），汽车自动驾驶可以完全负责整个车辆的操控，但是当遇到紧急情况，驾驶员仍需要在某些时候接管汽车，但有足够的预警时间，如即将进入修路的路段。Level 3将解放驾驶员，即对行车安全不再负责，不必监视道路状况。
Level 4：完全自动化，无人驾驶，无须司机或乘客干预。在无需人协助的情况下由出发地驶向目的地，仅需起点和终点信息，汽车将全程负责行车安全，并不依赖驾驶员干涉。行车时可以没有人乘坐。
2 无人驾驶系统
主要分为三部分：算法端、客户端、云端。
算法端：面向传感、感知和决策等关键步骤的算法。
客户端：机器人操作系统及硬件平台。
云端：数据存储、模拟、高精度地图绘制及深度学习模型训练。
算法端从传感器原始数据中提取有意义的信息以了解周围的环境情况，并根据环境变化作出决策。客户端融合多种算法以满足实时性与可靠性要求。云平台为无人车提供离线计算及存储功能。通过云平台，我们能够测试新的算法、更新高精度地图并训练更加有效的识别、追踪和决策模型。
2.1 算法
算法系统组成：传感（从传感器原始数据中提取有意义的信息）；感知（以定位无人车所在位置及感知现在所处的环境）；决策（可靠、安全地抵达目的地）
2.1.1传感
1.GPS/IMU
通过高达200Hz频率的全球定位和惯性更新数据，帮助无人车完成自我定位。GPS是一个相对准确的定位传感器，但他的更新频率低，不足以提供实时的位置更新；IMU有相对高的实时性，可以达到200Hz或更高，但他的准确度随着时间增长而降低，在长时间距离内不能保证位置更新的准确性。通过整合GPS/IMU，帮助无人车完成既准确又足够实时的位置更新。
2.LIDAR
激光雷达可被用来绘制地图、定位及避障。雷达准确率非常高，是主传感器。激光雷达可以用来产生高精度地图，并针对高精度地图完成移动车辆的定位，以及满足避障的要求。
3.摄像头
摄像头被广泛使用在物体识别及物体追踪等场景，在车道线检测，交通灯侦测，人行道检测中都以摄像头为主要解决方案。无人车至少使用8个摄像头，分别从前后左右四个维度完成物体发现，识别，追踪等任务。这些摄像头以60Hz的频率工作。
4.雷达和声呐
雷达把电磁波的能量发射至空间中某一方向，处在此方向上的物体反射该电磁波，雷达通过接收此反射波，以提取该物体的某些有关信息，包括目标物体至雷达的距离、距离变化率或径向速度、方位、高度等。雷达和声呐系统是避障的最后一道保障。雷达和声呐所产生的数据用来表示在车的前进方向上最近障碍物的距离。一旦系统检测到前方不远有障碍物的出现，则有极大的相撞危险，无人车会启动紧急刹车以完成避障。因此雷达和声呐系统产生的数据不需要过多的处理，通常可直接被控制处理器采用，并不需要主计算流水线的介入。
2.1.2 感知
获取传感信息后，进行感知，主要做三件事：定位、物体识别与追踪。
1.定位
GPS以较低的更新频率提供相对准确的位置信息，IMU以较高的更新频率提供准确性较低的位置信息。使用卡尔曼滤波整合两类数据的优势，合并提供准确且实时的位置信息更新。不能仅仅依靠这样的数据组合完成定位工作。摄像头也被用于定位，但其对照明条件非常敏感，使用受限且可靠性有限。激光雷达通常被用作车辆定位的主传感器。综合需要利用多传感器融合技术进行多类型传感数据融合，处理以整合所有传感器的优点，完成可靠并精准的定位。
2.物体识别与跟踪
激光雷达可提供精准的深度信息，常被用于执行物体识别和追踪的任务。使用CNN进行物体识别，一旦识别出来，下一步将自动预测它的运行轨迹进行物体追踪。
2.1.3 决策
决策阶段，行为预测、路径规划、避障机制三者结合起来实时地完成无人驾驶动作规划。
1.行为预测
如何根据周围车辆的行驶状况决策下一秒的行驶行为。为了预测其他车辆的形式行为，可以使用随机模型产生这些车辆的可达位置集合，并采用概率分布的方法预测每一个可达位置集的相关概率。
2.路径规划
如果使用完全确定模型，他搜索所有可能的路径并利用代价函数的方式确定最佳路径。但是完全确定模型对计算性能要求高，无法达到实时效果。因而使用概率性模型称为主要的优化方向。
3.避障
至少使用两层级的避障机制来保证车辆行驶时不会与障碍物发生碰撞。第一层级是基于交通情况预测的前瞻层级。交通情况预测根据现有的交通状况如拥堵、车速等，估计出碰撞发生时间与最短预测距离等参数，基于这些估计，避障机制将被启动以执行本地路径重规划。第二层级是实时反映层，使用雷达数据再次进行本地路径重规划。一旦雷达侦测到障碍物，立即执行避障操作。
2.2 客户端系统
客户端系统整合上述避障、路径规划等算法，以满足可靠性及实时性等要求。客户端系统克服三个问题：
1.系统必须确保捕捉到的大量传感器数据可以及时快速地得到处理；
2.如果系统的某部分失效，则系统足够健壮能从错误中恢复；
3.系统必须在设计的能耗和资源限定下有效完成所有的计算操作。
2.2.1 机器人操作系统ROS
2.2.2 硬件平台
Inter Xeon E5处理器 + 4-8个Nvidia Tesla K80 GPU + 散热器 + 及时功耗5000W
2.3 云平台
从分布式计算及分布式存储两方面对无人驾驶系统提供支持。使用Spark构建分布式计算平台，使用OpenCL构建异构计算平台，使用Alluxio作为内存存储平台。
1.仿真
为无人驾驶开发出新算法时，要先通过仿真对此算法进行全面测试，测试之后才进入真车测试。仿真时，通过在ROS节点回放真实采集的道路交通情况，模拟真实驾驶场景，完成对算法的测试。
2.高精度地图生成