蔚来 NIO IN?我更愿意叫它 AI Day
5 nm 智驾芯片成功流片、SkyOS 正式全量发布、Banyan 3 AI 能力升级、智能驾驶世界模型 NWM 发布,全新 NIO Phone 正式上市……2024 年蔚来科技创新日上,车的影子不多,AI 成了核心的主角,硬件只有一个全新 NIO Phone。
比较有趣的是,蔚来创始人、董事长、首席执行官李斌先后两次登台,一次说到了「不是一般的领先」,另一次说到了「我们是遥遥落后」,分别对应神玑 NX9031 的性能表现和 NIO Phone 依然坚持 0 广告、0 预装,在这场技术为主的发布会上也是个不小的亮点。
那么在接近 3 小时的 NIO IN 上,AI 到底有着怎样的重要地位,相对国内其他车企,蔚来对 AI 能力又有哪些不同的见解呢?
5 nm 智驾芯片流片成功
NIO IN 开场 7 分钟,李斌在盘点过去大半年主要进展之后,激动地宣布:「蔚来自研智驾芯片神玑 NX9031 流片成功!」
这颗芯片意义重大,在此之前的智驾芯片,无论海内外,没有任何一款突破进 5 nm 制程。加上这还是蔚来的第一颗自研智驾芯片,挑战无疑是巨大的。
去年 9 月的首届 NIO IN 上,神玑 NX9031 发布,仅过去 10 个月时间已经成功流片,这意味着距离上车又近了一大步。
「不是一般的领先。」李斌在现场说道。
李斌在现场重点展示了神玑 NX9031 的 ISP 能力。同样 800 万像素,不同的 ISP 成像效果是完全不同的,在日常行驶的道路上,基于神玑 NX9031 芯片的 800 万像素摄像头就能看到更远的地方。
在 NIO IN 现场的实拍图中,神玑 NX9031 的 ISP 也能在暗光环境下保留更多细节,这些能力对于智驾来说相当重要。
李斌还公布了神玑 NX9031 的其他技术细节:
高动态范围高性能 ISP:6.25 G 像素/秒的像素处理能力,26 bit 位宽,低于 5 ms 的处理延时。
超过 500 亿个晶体管。
32 核心 big.LITTLE CPU 架构,算力 615K DMIPS。
内存带宽 8,533 Mbps。
Transformer 类算法提升 6.5 倍,LiDAR 类算法性能提升 4 倍,BEV 类算法性能提升 4.3 倍。
支持最高 ASIL-D 级别功能安全等级。
不过,这颗芯片仍有部分参数保持神秘,例如和智驾能力几乎划等号的 NPU 算力,在此次发布会上还没有具体的数字,但已经给出针对 Transformer、LiDAR、BEV 等算法性能的升级指标。
SkyOS 全量发布
这又是一个延续。去年 9 月的 NIO IN 上,SkyOS·天枢及其架构正式发布,但是并非完全量产。这里要明确,SkyOS 并非一个操作系统,在不同的芯片硬件之上有着不同的功能。
在控制车身部件的实时操作系统 SkyOS-L 上车之后,今天 SkyOS 全量发布。
在架构图上可以看到,最下方是芯片、设备,以及车内的其他硬件(智驾感知、车门车窗等),在这之上,就运行着 SkyOS。
SkyOS-H 是个面向复杂场景的高性能、高可靠性的虚拟化系统。它可以形成虚拟的沙盒环境,同时管理调度整车的异构大算力资源,让上层的功能之间不受影响,起到安全基座的作用。简单来说,这个操作系统是把一个大房子分隔成了不同功能的小房间。
基于 SkyOS-H 的能力,实时任务的端到端执行时间减少 50%,多线程的吞吐量提升 40% 以上,虚拟磁盘吞吐量提升 15%。
再上一层,共有四个操作系统,分别是 SkyOS-L、SkyOS-M、SkyOS-R、SkyOS-C,也是运行在不同的硬件之上。
SkyOS-L 是面向 MCU 小算力芯片的轻量化 OS,目标就是实现更高的实时性和可靠性。在与 AUTOSAR 的对比中,无论是高优先级、中优先级还是低优先级的指令,SkyOS-L 都能稳定执行,AUTOSAR 在中优先级和低优先级的指令中,准确送达能力就不如 SkyOS-L。
微内核架构的 SkyOS-M 运行在中央大脑中,主要控制车身、底盘、悬架等等,微内核架构的核心优势就是安全隔离。蔚来做到了两类 CPU 隔离、两级内存隔离、五类 I/O 接口隔离以及 25 种隔离的核心服务。同时还有安全隔离的基础上,还有四层监控和三层恢复的安全机制。
对比 Linux,当出现系统问题时,SkyOS-M 受到影响更小,并且能快速恢复。从数据上看,SkyOS-M 自恢复时间只要 5 毫秒,相比 Linux 快 100 倍。
SkyOS-R 主要用于智能驾驶,这套操作系统有很高的端到端延时要求。目标是支持各种应用场景,提供高实时性保障的 OS。对比 Linux 发行版,轻负载端到端延时提升 113 倍,高负载端到端延时提升 20 倍。
SkyOS-C 是基于 Android 深度定制的操作系统,承载了智能座舱的功能。在这套操作系统可以高效支持基于大模型的应用,还有包括 NOMI 在内的 AI 智能体验。
在 SkyOS 之上是 SkyOS 的中间件,是实现分层解耦、跨域融合的关键。蔚来在其中一共构建了超过 40 个中间件,类似于一个工具箱。为了实现分层解耦,蔚来将整车抽象出了 1,600 多个原子能力,提供给各个域来调用。
如此多的原子能力互相调用相当复杂,因此蔚来自研了 SOA 框架,同时定义了蔚来的高性能跨域通信协议,名为 TOX(Talks-Over-X,X 意味着任何事物),适用于所有的网络类型以及通讯终端。
这样一来,TOX 实现了高带宽,大于 20,000 pps 的 MCU 速率,相比传统 CAN 总线高优信号容量提升 30 - 50 倍,同时对比 SOME/IP 降低了 40% 的时延,0 丢包的阈值提高了 109%。
此外,蔚来还建立了数据闭环机制,开发了端到端全生命周期研发工具链,建立体系化的安全机制。
全面 AI 化的 Banyan 3
SkyOS-C 作为铺垫,蔚来眼前重点是即将推出的 Banyan 3 智能系统。
Banyan 3 是蔚来首个基于AI 底层能力的智能系统,也正因此,Banyan 3 的背景图就是基于 difussion 技术和 NOMI GPT 生成而来。
Banyan 3 第一大升级就是 AI 智能底盘。「今天智能底盘的真正灵魂就是 AI 能力。」蔚来产品体验副总裁李天舒现场说道。
在 Banyan 3 中,4D 舒适领航升级为 4D 全域舒适领航,不需要开启导航就能激活 4D 舒适底盘,同时还有实时计算的颠簸指数,形成可视化折线图,行程结束后还会发送到手机 App。并且,只要有 CDC 动态阻尼控制的车型,都能用,包括不带空气悬架的 ES6、EC6 车型。不过,ET5 的两款车型暂时就没有这项功能了。
Banyan 3 还新增了驾驶模式——后排尊享模式,哪怕驾驶员技术不够高超,也能有「黄金右脚」的感受,让后排乘客减少冲击和眩晕感。
进入智能座舱,蔚来和 QQ 音乐合作,利用 AI 工具,让不支持全景声的歌曲也能解锁 7.1.4 全景声体验,目前已经支持百万首歌曲。
同时还有专家均衡器 Pro EQ。今年晚些时候,蔚来将推出基于 NOMI GPT 实现 AI 生成 EQ,NOMI 在分析歌曲的风格后,生成适合的 EQ,即便不懂音响、不懂音乐的人也能有更好的听音感受。
此外,无麦 K 歌也有升级,只要你张嘴唱,原唱就能自动关闭。
目前,车机原生 App 还比较缺乏,蔚来通过基于 Web 生成 Flux 应用获得接近原生 App 的内容和服务。像是 Apple Music 这样的服务,也能在车机上同步,并且通过 NOMI 播放控制。
今天,蔚来还宣布接入腾讯出行服务小程序,整个界面和手机非常接近,包括生活、订餐等小程序都能在车机上使用。
对于座舱的 AI 体验,最重要的就是 NOMI 了。过去的三个月时间里,用户和 NOMI GPT 交互超过 1,500 万次,接下来,NOMI 会在拟人交互、得力助手和情感伙伴三个领域继续发力。
语音免唤醒,效率提升 100%。
多人自由说,同时说、接力说都能行。
一句话多指令,一口气可以说几十个指令。
蔚来还为 NOMI 引入了 NOMI Agents 多智能体,基于大语言模型重构 NOMI 认知和任务能力,总结看一共有六大能力:
NOMI 停车助手,只需要说「帮我找个好停的停车场」,今年四季度还会推出停车场地图,实现车位级导航。
NOMI 守卫,可以让 NOMI 调用记录仪,总结大量守卫的事件,找到最有可能的危险事件。如果有发生碰撞、剐蹭,能直接预约维保。
NOMI 语音预约驾享/代驾服务。
NOMI 探索发现,可以是孩子的百科全书,帮助回答这是什么,那是什么的问题。还会根据需求推荐餐厅,包括蔚来车主的福利餐厅。
NOMI DJ,NOMI 生成专属歌单,并联动氛围灯
NOMI 旅行回忆,对行车记录仪进行美学分析,自动生成回忆视频。
面向未来,未来智能座舱的核心体验将全面 Agent 化。
同时,NOMI 情感引擎的情境智能、专属智能、情感表达同样令人惊喜。比如一家人进行 30 分钟的出行,那么歌单就会按照出行场景进行推荐。而专属智能,意味着 NOMI 的智能只属于你,它甚至能记住自己戴的什么帽子。而情感表达则是 NOMI 更主动的互动,比如在生日的那天给你唱一首生日歌。
根据规划,Banyan 3 从下周开启用户领航团招募,预计 8 月底推送。由于 Banyan 3 的内容非常丰富,蔚来会通过多个版本陆续释放。
蔚来世界模型来了
在智能驾驶领域,蔚来智能驾驶研发副总裁任少卿首先介绍了智驾的最新进展。目前,蔚来全域领航里程已经开通 389.9 万公里,所有用户已经开了 11.12 亿公里。蔚来车云总算力 287,100 POPS,实际道路验证里程 4.2 亿公里,每个月的样本分析挖掘量达到 2.2 亿。
不久前,蔚来端到端 AEB 上线,但这并不能满足蔚来的想象。蔚来希望构建一个模型,实现类似人脑的空间认知做想象重建,对时间的认知做想象推演的能力,这就是蔚来世界模型(NWM)。
如果说 10 年前的 2D/3D 模型是个粗糙简笔画,那么到 BEV、OCC 就是更精细一点的简笔画,依然停留在「简笔画」的阶段。
而蔚来世界模型 NWM 就是融合更多信息的画面,例如它能想象出当前的天气状况,这也是智驾能开好的重要条件。
蔚来用了千万 Clips 以上的数据进行学习,让重建的真实性更好。实际有什么用呢?
例如,在堵车的道路上,通过向 NWM 提供视频、车辆状态等信息,车辆可以「想象」千万种前方的道路,在某一个时间点可以超越前方慢车。
在 NWM 中,每 0.1 秒可以预测 216 种可能性,评估之后给出最优解。作为生成式模型,NWM 可将 3 秒钟的驾驶视频作为 Prompt,生成 120 秒的视频。
NWM 还具备闭环仿真测试能力,目前已在复杂交互场景中全面测试并验证性能。
蔚来世界模型、端到端主动安全模型,加上所有处理机制和安全机制,形成了NADArch2.0。
在产品端,功能缩减到了两个,其一是点到点领航辅助 2.0,今年下半年上车;其二是智能安全辅助 2.0,其中端到端 AEB 已经在 Banyan 2.6.5 上车,接下来端到端 GOA 会在下半年陆续上车。
李斌:全新 NIO Phone 不忍心不做主力机
经过了一系列的技术讲解,整场发布会唯一的硬件产品——全新 NIO Phone 来了。去年 9 月的 NIO IN,蔚来发布了第一代 NIO Phone。李斌说,大家已经意识到 NIO Phone 是蔚来用户不可或缺的一部分。
今天,李斌从裤包里拿出全新 NIO Phone,他说:「不忍心不做主力机。」
全新 NIO Phone 采用了 6.82 英寸等深四曲屏幕,也就是蔚来天穹屏,做到了 724 微米的弯折深度,这对于制造工艺有很大的挑战。更大的弯折深度,带来了更好的握持手感。
屏幕为 2K 分辨率,是蔚来向三星深度定制的屏幕。像素密度 510 PPI,局部峰值亮度 2,600 nit,支持 1 - 120 Hz 动态刷新率。
全新 NIO Phone 厚度最薄处 8.6 mm,中框采用磨砂铝合金材质,加上摄像头模组周围背板同样采用磨砂材质,相比前一代的亮面铝金属更不容易粘指纹。
全新 NIO Phone 推出全新颜色星云(参数丨图片)红,还有其他 5 种颜色可选,机身颜色都是采用与车身颜色同源的天空色彩。
性能方面,全新 NIO Phone 采用第三代骁龙 8 移动平台,采用鲧禹散热系统,游戏性能也有提升。
续航方面,续航时间相比上一代提升 10%,增加应急通话模式,在 2% 电量之下还能打半小时电话。
影像方面,全新 NIO Phone 采用索尼 LYT-T808 传感器,也打通了全链路 Ultra HDR。
此外,全新 NIO Phone 仍然坚持 0 系统广告,0 商业预装。
李斌说:「在广告数量和必要预装数量这件事上,我们可以说是遥遥落后,一直落后,永远落后。」
全新 NIO Phone 出厂搭载了 SkyUI 2.0,NOMI GPT 也进入了手机,基于跨端的能力,手机和车机的 NOMI 可以互相打通。
有这样几大能力令人印象深刻:
在行驶中打电话,通话记录会生成通话纪要,并记录在手机中。
在手车互联能力提升,影音娱乐功能得到升级,在安全的前提下,用户可以更方便地使用天空视窗。
NIO Link App 拓展到了 21 个,手机内的高品质音源在车内可以体验。
推出 NIO Link 随车播功能。在直播过程中,下车到上车的过程中,手机和车机的摄像头可以随时切换,从直播人到直播路,再到车内的摄像头,都能随意切。同时,这项功能也支持其他 App 的视频通话。
全新 NIO Phone 共有三个版本,性能版 12 GB + 512 GB 售价 6,499 元,旗舰版 12 GB + 1 TB 售价 6,899 元,EP edition 版本 16 GB + 1 TB 售价 7,499 元。
全新 NIO Phone 除了在蔚来 App 上出售,还会在京东、抖音平台同步销售。对于第一代 NIO Phone 用户有 500 元抵用券,还可以用最高 1 万蔚来积分支付。全新 NIO Phone 将于今天起开始发货。
2024 年,无论是手机还是汽车,都在全面转向 AI 时代,没有 AI ,几乎就和落后划上了等号。
蔚来作为国内头部的新势力车企,AI 方面的布局似乎是最深的。在车企开始布局自研芯片之时,蔚来 5 nm 智驾芯片成功流片;在业内都抱怨手车互联能不能再好一点的时候,蔚来推出了 NIO Phone;加上操作系统、智能驾驶等方面的布局,蔚来在技术创新上确实处在领先地位。
所有的技术研发服务的其实只有一件事,那就是把车卖好。特别是国内汽车市场竞争如此激烈的今天,能把高端纯电车卖给用户,似乎正在变得困难起来。
AI 的爆发,手车互联需求的提升,智驾愈加激烈的竞争,让车企不得不把车向 AI 终端的方向开发,这正好是蔚来在 NIO IN 上的重点。
最后想问大家一个问题,欢迎评论区留言。作为蔚来车主你想买全新 NIO Phone 吗?如果你不是蔚来车主,恰好想买手机,会选择全新 NIO Phone 吗?