理想汽车发布端到端+VLM自动驾驶技术
7月5日,理想汽车召开了2024智能驾驶夏季发布会。在发布会上理想汽车表示,OTA 6.0.0版新增无图NOA功能,并将于7月内全量推送,覆盖的所有的AD Max车型。同时,理想汽车发布了基于端到端模型、VLM视觉语言模型的全新自动驾驶技术方案。
▍理想无图NOA到底有哪些提升?
无图NOA四大能力
理想汽车最新的无图NOA,不管是在城市、城镇,还是乡村小路,都能够行驶。最新的无图NOA相比过去的版本,BEV、感知能力、规控能力,还有整体系统能力都得到全面的提升,无图NOA摆脱了对先验信息(有图)的依赖。
1、哪里都能开,不再依赖过多“先验信息”。理想汽车的智能驾驶系统背后有很多“小机器人”在运行,可能有一些“小机器人”需要一些先验信息。但是随着感知、规控能力的提升,就不再需要先验证,能更自如地解决在道路行驶中遇到的各种各样的路况。
2、绕行丝滑,时空联合。在实际道路上驾驶,会经常遇到一些车辆、行人等对象,阻碍我们通行。这种情况下,就会“绕行丝滑”,它背后是时空联合能力,就是具备时间和空间的能力。空间概念是横纵(前后左右)同步规划,时间概念是能够持续预测自车与他车的空间交互关系,并规划出未来一段时间窗口内的所有可行驶的轨迹,筛选出最优最高效的轨迹。
3、路口轻松,上帝视角。路口轻松过背后是我们具备“上帝视角”的能力。将摄像头拼接的周边环境、道路信息、导航提供的轨迹和数据信息全部合并在一起,形成超视距能力,在通过路口的时候找到最优路线。
4、默契安心,分米级微操。无图NOA重点考虑了用户心理安全边界的设计,将纯视觉的Occ占用网络升级为Lidar与视觉前融合的占用网络,从而识别更大范围内的不规则障碍物,感知精度也会更高。提升可行驶区域内的安全性和连续性,可以做到分米级别的微操。让用户和车之间产生了一种默契和安心的感觉。
主动安全四大能力
主动安全四大能力,包括复杂路口AEB,夜间弱光AEB,全自动AES,全方位低速AEB。
复杂路口 AEB(自动紧急制动):行人、两轮车、三轮车这三种障碍物,不管是从左、右、前任何一个方向靠近时,如果它侵占了车辆的安全系统区间,车辆都会启动AEB主动刹停。同时,如果车辆侵占了对方的安全空间,车辆也会主动刹停。
夜间AEB(自动紧急制动):在高速上夜间行驶,周围基本上没有光照,前方不远处有一辆货柜车停着静止不动,没有开灯、没有反光条。在这种极限场景下,理想AD Max的AEB能做到120公里时速完全刹停。
全自动AES(自动紧急转向):场景为消失的前车,行驶过程中的我车和前车,都以非常快的速度在高速上行驶,突然前车的前车紧急刹停,前车避让而我车距离很近不可能刹停。这种情况下车辆会减速并避让过去,无需人为参与转向操作,车辆会自动紧急转向,避让前方障碍物。
全方位低速AEB(自动紧急制动):用户在日常生活的低速场景中,特别在地库停车环境复杂的情况下,可能会出现比如柱子、墩子,车辆会启动低速AEB,可以刹停,避免剐蹭。
真正实现自动驾驶的技术方案是什么样的?
理想自动驾驶理论来源是《思考,快与慢》理论。诺贝尔经济学奖得主丹尼尔·卡尼曼在《思考,快与慢》中阐述了认知心理学中系统1与系统2的概念,为理解人类的认知模式提供了一个重要框架。
系统1其实是人根据自己过去的经验和习惯形成的直觉,可以做出快速的决策。系统2其实是一个思维推理能力,人需要经过思考或推理才能解决这种复杂的问题和应对未知的场景。简言之,系统1和系统2相互配合,成为了人类认知和理解世界、做出决策的基础。
系统1和系统2是如何应用到自动驾驶中的?
系统1由一个端到端模型(E2E)实现,直接用来快速响应常规驾驶问题。
系统2由一个视觉语言模型(VLM)实现,里面包含了思考的能力。
我们利用世界模型在云端来验证系统1和系统2的能力。
以上三个系统组成了理想汽车下一代自动驾驶技术架构。
什么是端到端,到底是哪个端到哪个端?它和以往的智能驾驶系统有什么区别?
理想汽车系统1的进化过程:
第一代:NPN。采用模块化的设计,包含感知、定位、规划、导航、NPN等,这一代架构支撑我们在全国100个城市推送了城市NOA功能。
第二代:无图,分段式端到端。只有两个模型组成,分别是感知和规划。最大的变化是去掉了NPN,不依赖于先验信息,让我们真正做到了全国都能开,有导航就能开。
第三代:端到端模型,它是一个One Model的结构,只有一个模型,输入的是传感器,输出的是行驶轨迹。
端到端模型的优势在于:
1、高效传递,驾驶体验更聪明和更拟人。
在无图中有两个模型,模型之间的信息传递我们运用了大量的规则;而到了端到端模型,它是一体化的模型,信息都在模型内部传递,具有更高上限。用户所能感受到整套系统的动作、决策更加拟人。
2、高效计算,驾驶时车辆会反应更及时和更迅速。
因为是一体化模型,可以在GPU里一次完成推理,端到端的延迟会更低。用户感知到的是,眼睛和手协调一致,反应迅速,车辆动作响应及时。
3、高效迭代 ,更高频率的OTA。
一体化模型可以实现端到端的可训,完全的数据驱动。对于用户来说最大感受就是OTA的速度越来越快。
系统2:VLM(视觉语言模型)。整体算法架构是由一个统一的Transformer模型组成,将Prompt(提示词)文本进行Tokenizer(分词器)编码,然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码,通过图文对齐模块进行模态对齐,统一交给VLM模型进行自回归推理,VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹,并传递给系统1控制车辆。