作者：疯死沃
链接：https://www.zhihu.com/question/24506695/answer/1336586915
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
2016年，雨夜，一位著名的神经外科医生启动了自己的兰博基尼跑车，一路疾驰。当跑车行驶到山路上时，路面已然十分湿滑，就在此时，医生接通了自己的电话...
接下来的事情大家都能猜到，因为打电话分心，医生和跑车一起翻下了山崖，受了重伤，尽管最后他被抢救了回来，但双手却无法再做手术，彻底断送了自己的职业生涯。这名医生叫史蒂芬·斯特兰奇，因为这场车祸，他改行学习法术，后来就成了奇异博士。
奇异博士出车祸这段剧情一直被大家调侃，有人说这是漫威的交通安全警示片，告诫大家开车千万不要玩手机。但我看到这块时总在想，如果奇异博士有一辆无人驾驶汽车，那就不会出车祸，他也没必要去学法术，漫威是不是就少了一个超级英雄？
在漫威宇宙，无人驾驶汽车的实现非常简单！钢铁侠不是有个人工智能叫“贾维斯”嘛！把这个系统装到跑车里就ok了，贾维斯连上天入地的战衣都能控制，负责无人驾驶那还不是小菜一碟！
好了，机灵抖完，回归正题。
现实世界的问题解决可不像漫威电影宇宙那么简单，要想实现真正意义上的无人驾驶，人类还有很长一段路要走，那么无人驾驶到底需要哪些技术呢？
目前业内公认的说法是，无人驾驶需要三大块技术，分别是环境感知、行为决策和运动控制，简单来说，这也是一个从硬件到软件再到硬件的实现过程，接下来我们就来逐个分析。
Part1·环境感知
环境感知，是对外界环境信息和车辆信息的采集，这是实现无人驾驶的第一步，也是目前无人驾驶技术攻克最关键的一步。
简单来说，环境感知研究的就是汽车的“眼睛”，路口的红绿灯，人行道上的行人，路边的标示牌，都需要“眼睛”才能识别。万一再遇上高速公鹿、熊出没这种特殊情况，那环境感知就更重要了！
- 环境感知，首先是对外界信息的采集。
从实现方式上来说，就是利用传感器采集周围的信息，然后把它还原出来，让汽车的“大脑”智能识别。
因为传感器选择方向的不同，业界对这块技术的研究大体上分为两大流派：
一.激光雷达·派
二.摄像头·派
激光雷达派，成员包括谷歌的Waymo，汽车巨头福特、通用等公司。
激光雷达的原理是，通过搜集目标表面大量的密集点的三维坐标、反射率等信息，从而快速复建出目标的三维模型及各种图件数据。
从原理上，我们很容易总结出激光雷达的优势：分辨率高，采集精确，自带深度信息，比较容易还原。
这还带来了另一个好处，越精确、还原度越高的信息，越容易被识别，所以采用激光雷达传感器的智能汽车，对人工智能的要求相对较低（注意，只是相对）。
那么激光雷达的劣势是什么呢？首先，激光容易受天气影响，在雨雪、大雾情况下，信息还原都会减弱。当然，这点可以通过算法改进。
后面这个问题才是关键的，激光雷达的成本实在太高了！
目前市场上比较常见的有8线、16线、32线和64激光雷达，线数越高，分辨率越高，探测效果也越好。2010年，谷歌的无人驾驶汽车项目“车顶花盆”就使用了64 线激光雷达传感器，成本大概在 7.5 万美元左右，这是什么概念？单单这个激光雷达的成本几乎就占到了整车的一半。
从这个角度来看，使用激光雷达传感器是一种“暴力解决方案”，传感器要用就用最好的！不计成本，造就行！
摄像头派，代表选手是特斯拉。
摄像头大家都不陌生，这是世界上应用最广泛、最成熟的传感器技术之一，它的工作原理大家可以理解为“拍照”，本质上采集的信息是一个个无意义的像素点。
摄影头应用广泛，可以简单识别行人、交通指示牌等，这听起来像是优势，但实际上恰恰相反，因为采集到的信息是无意义的像素点，一旦遇到恶劣天气或者逆光情况，信息就会很难识别。
有时候，人工智能和人工智障只有一线之隔，比如2018年，因为公交车上的大头广告，董明珠被AI系统判定为闯红灯......因此，使用摄像头进行环境感知虽然方便，但同时也对人工智能提出了相当高的要求。
看到这你可能会问了，如果摄影头缺点这么多，为什么还要选它呢？首先是因为这项技术成熟，但最关键的是，这种技术方向极具美感，有点人类仿生学的意思，很可能会通向终极目标。马斯克可是想要移民火星的主，研究智能汽车，自然也会选择这种最本质的方向。
然后，还要介绍下毫米波雷达，之所以把它单列出来，是因为以上两种方向都要用到毫米波。前文说到，无论是激光雷达还是摄像头，在恶劣天气下采集信息都会受到影响，这时就需要毫米波雷达了：不受天气与夜间影响，可探测远距离物体，弥补了激光和摄像头的不足。
为了让大家对整车级的传感器有个概念，我们可以举个例子，中国新创出行企业华人运通旗下首款量产定型车高合HiPhi 1，号称全车搭载了超过500个传感器（雷达，摄像头都有），多达52个生物感测器，用来感知人、车和环境的变化。
高合HiPhi 1定位高端市场，是一款豪华智能纯电超跑SUV，大家估摸一下，应该就对智能汽车身上的传感器量级有概念了。
- 仅仅识别外界信息是不够，还需要感知汽车自身信息的变化。
简单来说，汽车探测到前方路口的红灯，还得知道自己的速度，这样才能控制刹车的时间。
对汽车自身信息的采集，首先要用到的是GPS，今年6月底，我国北斗导航系统部署完成，对无人驾驶的实现也有重要意义。
但同时，无论是GPS还是北斗，都无法完全搞定汽车信息采集，因为精度不够。GPS、北斗的日常使用精度大概在1米-10米之间，还容易受到信号的影响，比如在隧道里就会丢失位置，这肯定无法满足无人驾驶的需求。
这时就需要惯性测量单元，它通常由陀螺仪、加速计和算法处理单元组成，通过对加速度和旋转角度的测量得出自体的运动轨迹。
惯性测量单元受信号影响小，隧洞里也可以用，刚好可以和GPS、北斗互补。
- 信息融合
前面说到那么多的传感器，有激光雷达，摄像机，毫米波等，所以信息融合也是关键的一步，这样才能支持后续的行为决策。当然，这方面技术偏向于软件，需要用算法实现。
Part2·行为决策。
行为决策需要人工智能，这已经是个老生常谈的概念。在人工智能领域，Alpha Go在围棋项目上几乎击败了所有的人类，波士顿机器人也能360度空中转体了，但无人驾驶为什么迟迟难以实现？
究其原因，还是路测数据不够。棋盘是有大小的，规则是确定的，胜负是可分的，所以围棋的所有状态空间是有限确定的，Alpha Go只需要不断模拟对局，了解所有局面的最优解，自然就成了大师。
但开车是项完全不确定的活动，要面临无限多的随机状况，需要人工智能深度学习。此外，真实的路测状况也不像下棋那么简单，是需要在现实世界里一点一点实现的。
这里就需要引入一个概念，汽车驾驶自动化分级。2020年3月，工信部公示了《汽车驾驶自动化分级》国家标准，将汽车无人驾驶分为“0-5级”六大等级，分别是应急辅助、部分驾驶辅助、组合驾驶辅助、有条件无人驾驶、高度无人驾驶以及完全无人驾驶。
无人驾驶的终极目标就是到达L5等级，运行条件无限制，车辆控制完全由系统接管。目前无人驾驶技术还在2-3的阶段，要想达到下一个阶段直至实现终极目标，根本解决方案依然是积累巨量的路测数据来优化算法。
积累路测数据，优化人工智能的行为决策，也有不同的实现方式。谷歌从2009年起秘密研发无人驾驶汽车，也就是后来大家熟悉的Waymo，有点像是“闭门造车”的方式，想要一口气冲到L4等级。目前谷歌无人驾驶汽车事故率远低于人类司机，据报道，2019年，Waymo无人驾驶汽车在加州公共道路上的测试里程接近120万英里。
特斯拉选择另一种方式进行路测，他们2014年在所有车型上安装了自动辅助驾驶硬件，持续收集道路数据，并且逐步开放无人驾驶功能，选择用迭代方式从L2进化到L4，这种方式让特斯拉在路测数据积累方面进展迅速。
当然，无人驾驶的路测过程中也发生了不少事故，2016年，一辆特斯拉Model S在无人驾驶期间撞上了一辆白色货车，据悉，这起事故的原因是人工智能将白色的货车识别成了天空。
既然现实路况测试有风险，可不可以模拟研究呢？还真有！利用游戏引擎模拟出现实环境帮助进行算法优化也是一个解决方案。本问题中已经有答主提到，这里就不多说了。
行业有过预测，想要让无人驾驶技术安全落地，大概需要110亿英里的测试数据来优化决策算法，要想实现真正意义上的无人驾驶，吾辈任重道远。
Part3·运动控制。
运动控制，就是让车辆沿着指定的轨迹行驶，包括对加速、减速、转弯等操作的控制，硬件方面大家关注的比较多，内容比较琐碎，拣想到的说。
无人驾驶汽车一般都选择纯电汽车，这是因为相比于发电机来说，电机的构造简单，底层控制算法也无需太复杂。
前面提到，无人驾驶的安全性是非常重要的！那么如何保障乘客安全呢？这就需要冗余设计。
冗余，即系统为了提升其可靠度，刻意配置重复的零件或是机能。出于安全性保障，目前在高等级无人驾驶方案中，冗余设计已然贯穿在各个技术环节，有句话在业内流传甚广，“没有做冗余设计的自动驾驶方案，说白了，都是扯淡。”可见各大厂商对冗余设计有多么重视。像前文提到过的高合Hiphi 1，车身就搭载了6大双冗余系统，包括计算冗余、感知冗余、通讯冗余、制动冗余、电源冗余和转向冗余等独立硬件系统，可以说是冗余的一个深度应用了，能大幅度的提升无人驾驶的安全性。
Part4·政策法规与智慧路面。
最后再补充一点内容，无人驾驶的推进，除了技术的发展，同样离不开政策法规和路面的建设。最基础的一点，无人驾驶的路测数据积累就需要国家政策的支持。
2020年5月19日，交通运输部发文，要积极推进无人驾驶技术研发试点和应用工作，我觉得这一政策的落实，和无人驾驶技术的更新同等重要！
另外，也要加强智慧路面的建设，目前无人驾驶的使用范围都局限在高速和城市里，就是因为路面条件好，最基本的一点就是路面指示线清晰。
这里要特别提一下V2X技术，即vehicle to everything（车到一切），是指车与车、车与人、车与交通设施进行信息交换的一种技术。
V2X技术有什么用？简单来说，这是单车无人驾驶和车路协同无人驾驶的区别。
如果汽车的人工智能还不够智能，那么我们可不可以建设一种“智慧路面”，与汽车共享实时驾驶状态，从而辅助无人驾驶。
使用V2X技术，可以突破视觉死角，跨越遮挡物获取信息，通过研判算法产生预测信息，还不受天气状况影响，这对于无人驾驶的实现是极大的助力。
目前好多车企已经开始在5G方向发力了，雄安新区那边据说已经开始建设5G智慧城市，前文提到全车搭载了超过500个传感器的高合HiPhi 1，就是具备双冗余L3自动驾驶系统，还标配5G+V2X通讯模块的智能汽车，不过要量产的话估计要等到2021年了。
随着5G技术的成熟，5G+V2X的组合将为无人驾驶带来更多可能性，我们还是值得期待一下的。
作者：Qualcomm中国
链接：https://www.zhihu.com/question/24506695/answer/661920039
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
自动驾驶已经成为目前汽车发展的热点和必然趋势，针对这个问题很多优质的回答基于自动驾驶系统的组成：感知——车的传感器“看”到了什么、决策——车的大脑思考怎么去处理、执行——车的控制系统去执行相应的操作，已经说的很详细了，而这三大系统在结合了人工智能技术以后也有了飞速的发展和进步。
但要实现自动驾驶，仅仅依靠这三大系统是远远不够的，自动驾驶和未来的智慧交通系统还需要一些基础的共性技术进行去支撑，其中最主要的即是高性能运算技术、车与外部设施通信的V2X技术。前者能为传感器的识别算法和系统的决策算法提供巨量的运算能力支持，后者让汽车与交通标志、行人、其他车辆、云端等参与交通的所有对象通信，让汽车不再是一个单一的个体，而成为智慧交通中一个有机的组成部分。另外，高精度定位技术在实现自动驾驶中也不可或缺。
1. 自动驾驶的大脑——高性能运算处理器平台
与人驾驶类似，汽车要能实现自动驾驶就需要能准确的识别周围的环境，通过摄像头、毫米波雷达等传感器将所处场景中的车辆、行人、道路等信息准确识别；再通过复杂的决策算法对所处环境进行判断，为下一步的行动进行决策。这个过程中会涉及图像识别、感知融合、人工智能决策等诸多复杂的算法。而要高效、准确的实现这些算法，就需要强大的运算能力进行支持。就如同为了实现复杂多样的手机功能我们需要强大的处理器一样，自动驾驶汽车也需要具备一颗足够聪明的“大脑”——高性能运算处理器平台，这便是与传统汽车最为基本的区别。
全球的芯片行业也针对这个需求推出了适宜自动驾驶开发的高性能处理器平台。Qualcomm公司依托在移动互联网和手机领域积累的强大基础，基于性能顶尖的高通骁龙系列处理器也在自动驾驶领域为实现车载应用进行了深入的布局，推出了满足汽车苛刻使用环境要求的高性能处理器高通骁龙820A（A：automobile）。
高通骁龙820A基于手机领域大放异彩的820芯片研发而来，通过工艺的优化和提升使工作温度范围拓展到-40℃~110℃，可以满足汽车复杂的使用环境要求和高可靠性要求；高通骁龙820A车载平台继承了四核64位的CPU的强大运算能力和Adreno 530 GPU，并带有机器学习处理器，可通过认知计算和实时识别发现道路上的潜在危险，为自动驾驶提供强有力的保障。
除了高通骁龙820A车载平台以外，Qualcomm为了满足自动驾驶系统日渐庞大的运算能力需求，在后期开发手机处理器芯片时也会同期进行同内核的车载高性能处理器的开发，并与全球各大汽车厂商和顶尖的自动驾驶公司进行合作，为他们提供性能更优异、更可靠的高性能运算处理器平台。
Qualcomm高性能自动驾驶运算平台
2. 让汽车能心灵感应——通信与C-V2X技术
为了实现全场景的自动驾驶，除了应付基本的驾驶环境以外，自动驾驶汽车还需要克服雨天、大雾、黑夜等恶劣环境的限制，而此时仅仅依靠自动驾驶汽车自身的传感器已经远远不能满足要求。这就需要汽车具备“心灵感应”的能力——能与道路、交通标志、其他车辆等交通场景的参与者进行远距离通信，让汽车可以在超过视线范围的距离下提前感知道路的复杂情况。
目前基于移动蜂窝通信的C-V2X（Cellular Vehicle-to-Everything）技术便能让汽车具备这种“心灵感应”的能力。比如，与红绿灯进行通信，便能让汽车提前知道红绿灯的状态，提前进行减速慢性操作；与其他车辆通信，便能将车辆紧急刹车、变道、转弯状态及时告知其他车辆，让其他车辆有足够的时间进行预判和处理。
更重要的是，V2X通信技术不仅可以让车与车通信，还能云端的大数据平台与汽车进行通信，除了让汽车能享受各种丰富多彩的网联化服务外，还能让云端平台对所有的交通参与者进行统一的调度和整合，实现真正智慧化的无拥堵交通。而这一技术作为实现智慧交通的基础，已经列入多个国家的自动驾驶产业计划中，中国发改委也在《智能汽车创新发展战略》明确规划规划：到2020年，大城市、高速公路的LTE-V2X覆盖率将达到90%。
在这一领域，Qualcomm依托于移动通信时代领先的4G通信技术，在2017年便主导了LTE-V2X（基于4G LTE通信的V2X）标准体系的建立，并推出9150 C-V2X芯片组，预计在今年即可量产搭载。同时，作为5G技术的先驱，Qualcomm还推动成立了支持C-V2X发展的行业组织——5G汽车联盟(5GAA)；2018年这一联盟便将车辆与交通灯及交通管理中心实现网络互联，示范运行了基于V2X技术的紧急刹车、碰撞预警、车辆减速预警、信号灯预警及行人预警等功能。
QualcommV2X合作项目
3. 自动驾驶开天眼——VEPP高精度定位技术
除了环境感知和V2X技术准确探知车辆周围的环境，为了更可靠精确的提高感知结果的精确性和可靠性，还需要能准确知道汽车的实时位置，才能更安全实现自动驾驶。比如，只有在亚米级（0.1m级）的精度下，才能准确判断车辆所处的车道，并与本条车道内的车辆建立联系；或者只有准确知道车辆与交通信号等和路口的距离，才能进行更为精确的预判和准备，就好像给汽车开了天眼。
可能有人会奇怪，GPS定位难道还不够么？不够！远远不够！商用的GPS技术精确度只有米级并且极易受到隧道遮挡、信号延迟等因素的干扰，想想平时我们用导航的感觉吧。
为了解决这个问题，Qualcomm开发了基于视觉增强的高精度定位（VEPP）技术，该技术通过融合GNSS全球导航卫星、摄像头、IMU惯性导航和轮速传感器等多个汽车部件的信息，通过各传感器之间的相互校准和数据融合，实现精确到车道线的全球实时定位。而由于VEPP技术使用的是常见的车载传感器，因此成本上也控制的更为合理，这也更有助于该技术的推广。
4. 自动驾驶时代的车内体验——数字座舱
在未来实现自动驾驶以后，我们也将从驾驶行为中解脱，那时车内的空间将不再是现在这副模样，而是进化成为注重交互和体验的智慧座舱，甚至成为智慧出行的“第三空间”。在这种情况下，汽车内的显示屏将会更大更多，互联网属性将更加重要，娱乐属性也将被发挥到极致。在那时，就如同现在的手机一样，汽车内最重要的将是依托于智能操作系统实现的各种极致体验的功能；而我们也不用再面对如今车内交互极其不友好的车机系统。
在这种趋势下，移动互联网时代的资源和技术将会被迅速导入到汽车中。而Qualcomm由于在手机领域摸爬滚打的充足经验，也在为数字座舱这一领域的应用进行布局，推出了多款高性能芯片。例如，上文提到的高通骁龙820A车载平台不仅可以进行高性能运算，还能支持蓝牙、Wi-Fi、视频渲染、游戏引擎等多种功能，这也让高通骁龙820A车载平台可以无缝的进行智能网联终端和数字座舱等多种车载应用的开发，并将移动平台的各种资源和技术直接导入。
高通骁龙第三代数字座舱平台
另外，与手机版的820不同，通过对多核资源的充分利用，高通骁龙820A车载平台还可以同时驱动多块高清显示屏，并通过hypervisor虚拟化技术在单个处理器上运行多个不同的操作系统，以实现娱乐和信息显示等性能要求不同的功能。
5. 总结
实现完全的自动驾驶和智慧交通是一个注定艰难的过程，无论是人工智能、环境感知、智能决策这类新技术，还是运动控制、远程通信这些基础技术，甚至基础设施建设、法律法规……自动驾驶领域有太多技术等待我们去突破，太多山峰等待我们去翻越。
这一未来必将造福全人类的技术正在各行各业的努力下快速发展着，而Qualcomm也在运用自己的优势，基于对这个行业的理解贡献这一份自己的力量。
作者：pajyyy
链接：https://www.zhihu.com/question/24506695/answer/141383154
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
智能车(Intelligent vehicle)是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，是典型的高新技术综合体。
下边就先给自动驾驶技术做一个总的分类，如下图所示，自动驾驶的关键技术依次可以分为环境感知，行为决策，路径规划和运动控制四大部分
- 感知技术
自动驾驶的第一步就是环境信息和车内信息的采集与处理，是智能车辆自主行驶的基础和前提。获取周围的环境信息。这方面涉及到道路边界检测、车辆检测、行人检测等技术，即上面各位所说的传感器技术，所用到的传感器一般都会有激光测距仪、视频摄像头、车载雷达、速度和加速度传感器……这部分也是一台智能车辆最烧钱的部分，现在国内各大高校里动辄上百万甚至几百万的试验车，都是基于普通的轿车开发的，车子本身并不十分贵。
但是感知技术并不是说我有钱加装个上百万的雷达，搞几个高清摄像头就可以的，由于各个传感器在设计的时候有各自的局限性，单个传感器满足不了各种工况下的精确感知，想要车辆在各种环境下平稳运行，就需要运用到多传感器融合技术，该技术也是环境感知这一大类技术的关键技术所在，目前国内这方面和国外的主要差距也集中在多传感器融合方面。
- 决策技术
在辅助驾驶或者自动驾驶技术中，完成了感知部分，接下来需要做的是，依据上一步感知系统获取的信息来进行决策判断，确定适当工作模型,制定相应控制策略。这部分的功能类似于给车辆下达相应的任务。例如在车道保持、车道偏离预警、车距保持，障碍物警告等系统中，需要预测本车与其他车辆、车道、行人等在未来一段时间内的状态，先进的决策理论包括模糊推理、强化学习、神经网络和贝叶斯网络技术等。
- 路径规划
智能车辆有了行驶任务，智能车辆的路径规划就是在进行环境信息感知并确定车辆在环境中位置的基础上，按照一定的搜索算法，找出一条可通行的路径，进而实现智能车辆的自主导航。
路径规划的方法根据智能车辆工作环境信息的完整程度，可分为两大类：
- 基于完整环境信息的全局路径规划方法；例如，从上海到北京有很多条路，规划处一条作为行驶路线即为全局规划。如栅格法、可视图法、拓扑法、自由空间法、神经网络法等静态路径规划算法。
- 基于传感器实时获取环境信息的局部路径规划方法；例如，在全局规划好的上海到北京的那条路线上会有其他车辆或者障碍物，想要避过这些障碍物或者车辆，需要转向调整车道，这就是局部路径规划。局部路径规划的方法包括：人工势场法、矢量域直方图法、虚拟力场法、遗传算法等动态路径规划算法等。
- 运动控制
规划好了行驶路径，接下来就需要控制车辆沿着期望的轨迹行驶，这就是运动控制部分需要完成的内容。
运动控制包括横向控制和纵向控制，简单来说横向控制就是转向控制，纵向控制就是速度控制， 现在研究比较多的是横向控制，所运用的方法主要包括滑膜控制、模糊控制、神经网络控制、最优控制、自适应控制和纯跟踪控制等。
通俗的讲就是，横向控制为给定一个速度，通过控制转向达到车辆沿着预定轨迹行驶的目的；而纵向控制目的是为了满足车辆行驶过程中的速度要求，有时候还需要配合横向控制达到满足车辆在轨迹跟踪的同时，还需要满足安全性、稳定性和舒适性的目的。因为车辆是一个特别复杂的系统，横向、纵向和垂向都有耦合关系的存在，因此就需要对智能车辆进行横、纵向，甚至横、纵、垂向的协同控制。由于其耦合关系的复杂性，所以说智能车辆运动控制的协同控制技术，也是该部分的技术难点。
大致先写这么多，各位看官，看完了给个赞呗。。。
作者：吴新宙
链接：https://www.zhihu.com/question/24506695/answer/1312701085
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
我们知道，开始向电力驱动迈进，是如今每一家汽车制造商都必须要做的事情，但只有真正的智能电动汽车才是汽车未来的下一个赛道。
小鹏的自动驾驶是小鹏汽车智能化的最主要标签，也是小鹏的最核心差异化。随着 P7 的推出，我们的主要自动驾驶功能会在下半年通过 OTA 逐步向用户释放。作为小鹏自动驾驶的 “掌门人”，我也想在接下来的几个月中逐步的向大家深度解析一下我们自动驾驶的核心能力，让鹏友们在使用小鹏自动驾驶功能的同时，能够了解一些 under the hood 的核心算法，同时也能对我们未来功能的演进和规划有一个了解和期待。
今天我们先说一下视觉感知，这可能也是对用户最直观、最容易理解的能力；后续我们也会逐步深度解析一下其余部分，包括定位、融合、规划等核心算法模块，我们的硬件能力和规划，以及我们在中后台（大数据）的布局和思考。
高级别自动驾驶（ L2+）的核心是视觉感知能力
视觉感知是自动驾驶的上游模块之一（小鹏自动驾驶算法架构见上图），也是高级别自动驾驶中的最核心能力。每一家注重自动驾驶的量产车企，都会把视觉感知作为一个重中之重来布局，不管是通过自研还是走供应商的方案。从某个意义上讲，视觉方案的优劣，很大程度上会决定该自动驾驶方案的高低优劣之分，以及功能的鲁棒性和稳定度。因为，到了今天，毫米波雷达的能力已趋成熟，功能、性能上的差异化很大程度上是来自于视觉。另外，随着 L2 级自动驾驶逐渐成为整车的标配，许多车厂开始布局甚至部署更高级别的自动驾驶，这对感知，特别是视觉感知，也产生了更高的要求。随着 P7 的上市，小鹏会在今年下半年在 P7（智尊版）上逐步释放更高级的自动驾驶能力，包括在 XPILOT 3.0 中。而这其中，最核心的行车功能是导航辅助驾驶，简称NGP（Navigation Guided Pilot）。
具体来说，对 L2 的核心功能而言， ACC（自适应巡航）需要对前车的稳定检测， LCC（车道居中）则需要对本车车道线的稳定检测；但是对于更高级自动驾驶来说，自主变道是最核心的功能，他带来了比 L2 级自动驾驶高出许多的感知需求。为了方便描述，对于感知需求或者是感知能力，我们可以分为两类：
（1）几何感知：这是指对周围环境或事物体的空间理解能力，或者说是对相关物体准确的定位能力；
（2）语意感知：这是指物体类型，属性，意图的理解。对于高级别自动驾驶而言，首先，360° 的精准感知成了必须—除了对前车的检测和判断，我们需要对周围所有车辆的位置，速度，和加速度进行跟踪，来服务于变道的决定，这是几何感知需求。另外，语意级信息变得更为重要，举一个简单的例子，在某些简版的 LCC 实现中，本车车道线属性都不是特别重要的。但是自主变道的需求把这个变成必须——因为本车需要避免在车道实线时作出变道的决策；另外，不光是本车车道线属性，旁车道车道线属性也需要准确检测，因为我们需要去推测旁车是否会有切入、变道的意图。
另外，对每条车道的驾驶限制属性(是直行车道或是下高速的匝道)，每条车道的限速，该车道与前方其他车道的连接关系，本车都需要⼀个判断。最后，对于旁车，我们不仅要判断他在当前的位置，还需要对他的接下来的行为做一个判断，是为预测。而准确的预测，就需要对该车和它所属环境中的语意信息都需要⼀个了解。我们可从下表把这个需求的不同做⼀个概述。
随着 L2+ 级自动驾驶对语意，几何感知的需求的增长，视觉感知也会起到越来越关键的作用。因为和其他传感器相比，摄像头在获取语意信息上有着得天独厚的优势，因为它有比毫米波雷达高得多的像素密度（2到3个数量级）。同时，通过先进的算法，摄像头也可以精确的测量周围环境中的物体位置，同时通过传感器融合减少误解和漏检，极大的提高感知在几何和语意信息的准确度。这也是为什么我们说视觉感知是⾼级别自动驾驶的核心能力，而视觉感知能力的 360° 覆盖，也是迈入高级别自动驾驶的重要门槛。
接下来我们具体聊⼀下小鹏在视觉感知上的布局。 超强的视觉硬件部署小鹏在 P7 上通过 14 个视觉摄像头的布置，完成了对远，中，近三个区域的全方位视觉覆盖。
小鹏 P7 搭载 XPILOT 3.0 系统
这样强大的摄像头组合在国内外都是⾮常领先的，也为我们在泊车和行车上做出差异化打下了基础。
（1）远区域（50m+）: 前视主摄像头和 narrow 摄像头；后视主摄像头；
（2）中区域（3m至100m): ⻥眼摄像头，覆盖360°；
（3）近区域（0m至10m）：环视摄像头，覆盖 360°；主要用于泊车。
超鲁棒的车辆和车道线检测是视觉感知能力的基石无论是对于 L2 或是更高级自动驾驶，视觉感知的基石一定是车辆和车道线的检测能力。在这两个方面，小鹏主要注重三大项的工作：
（1）建立高多样性，涵盖中国尽可能大部分的驾驶场景数据集；过去两年，P7 的感知开发处于完成 0 到 1 状态，或者说是冷启动状态。为此，小鹏建立了自己的数据采集团队，历经两年，在不同的城市、不同场景、采集了大量的 360 度摄像头数据。
（2）建立快速的数据获取和网络训练之间的闭环机制，高效解决感知性能的长尾问题 。深度学习网络的性能往往在一定数据训练量之后性能会趋于饱和，比如在准确度达到 90% 以后，往往增加数个百分比的性能需要倍增训练数据量。比如下图显示了车道线检测准确率随着训练数据量的变化，在 90% 以后，使⽤简单增加训练数据量的方法对性能的增长是非常缓慢的。
为了打破这个长尾的迷局，小鹏在数据上的核心战略是定向标注和定向获取。所谓定向标注，也就是从目前网络性能的缺陷或是测试过程中发现的核心视觉感知问题，能够定向地从现有数据库中寻找相关的数据，进行标注和增加到训练数据集。目前小鹏内部的工具链已经有在数天内完成这个闭环的能力（从发现问题到解决问题）。所谓定向获取，是要更好的解决更长尾事件（ 0.1%，0.01%，…)，因为这些数据可能在现有的数据集中也是匮乏的。
作为主机厂，小鹏的核心布局是建立可以从自己的数据采集车和用户车辆中可以在线检测这些长尾事件，并获取这些数据上传至云端，用于算法改进。这两项能力，是我们快速迭代核心感知算法功能和性能的核心能力。在下图显示了这个策略的效果，我们只用了约 12% 的定向数据，取得了最后性能的快速提升。
（3）软硬件结合，高效实现网络在硬件中的实现 。14个摄像头，N 个深度学习网络，数十个深度学习输出物，需要在小鹏基于 Xavier 的主控 ECU 上并行处理，同时平衡好网络性能和鲁棒性。在此我们做了大量的工作，包括对网络的大量优化，让网络在不同任务间，设置不同摄像头之间共享资源，同时充分利用 Xavier上强大的运算资源（GPU，DLA等）。 小鹏自研的车道线检测就是上述策略很好的例子。为了用户在国内特有的驾驶场景下有更好的体验，我们在过去⼀年内完成了【 X】版⽹络的更新和【 Y】个corner case的增强。目前来看起到了非常好的效果，在内部测试中，我们的 LCC 显示了非常强悍的抗干扰能力。
字符干扰
雨天、遮挡
暴雨、夜间
另外，在解决车辆、车道线的检测准确率之外，我们也在快速地加入和车辆，车道线更多的特性，来帮助感知在几何和语意上的能力。首先，摄像头有非常强的相对几何测量能力——车辆的长宽高比例、车辆在车道线中有多居中，还有旁车和本车相比的相对位姿，这些我们都在通过深度学习网络来实现。而这些信息通过毫米波雷达往往是很难拿到⼀个准确信息的。同时，这些信息对旁车的判断和行为预测都是非常重要的。比如对旁车切入意图的判断，除了看旁车和车道线的相对位置外，准确的车辆航向角也会有很大的帮助。
简短总结⼀下。视觉感知是自动驾驶能力，特别是 L2 以上级别自动驾驶的最核心能力。通过之前两到三年持续不断的努力和投入，小鹏已经建立起了端到端自研自动驾驶全算法堆栈的能力，包括视觉感知，并将随着 P7 的上市而量产。这在国内的主机厂中可以说是独一无二的。目前我们正在高速和城市场景的视觉感知上持续发力，力争在今年下半年和明年给小鹏 P7 的用户在中国驾驶环境下带来不一样的驾驶体验。万分期待 P7 的自动驾驶能力与大家的早日见面，和逐步提升！