← 返回博客
Ai预计阅读 9 分钟

NVIDIA 开源了四个 160 亿的世界模型,没人测的那部分是策略学习

发布于 2026年11月7日
NVIDIA 开源了四个 160 亿的世界模型,没人测的那部分是策略学习

11 月 5 日,NVIDIA 把四个 Cosmos 3 检查点放上了 Hugging Face。每个都是 160 亿参数的 Cosmos 3 Nano 经过后训练的版本,按 OpenMDW1.1 发布,这个许可允许商用也允许非商用。除了权重,公司还放了后训练配方和推理代码,所以团队能把这些模型改到自己的传感器配置上,而不只是照原样跑。

第二天,NVIDIA 又发了 VFlash,一个解码框架,攻的是同一个问题的另一半。两个发布合起来看比分开看有意思,因为一个管怎么生成世界,另一个管你能多快说出世界里东西在哪。

四个检查点分别干什么

Cosmos 3 是 6 月发布的世界基座模型家族,骨干是混合 Transformer:一条自回归子序列管推理,一条扩散子序列管生成,每种模态各有编码器,中间共享一个表示空间。有两个尺寸,Super 和 Nano。11 月这次放的是小号那个的四个专门后训练版本。

Cosmos3-Nano-Transfer-Auto 生成离线驾驶数据。它跨最多 11 路相机视角产出同步视频,鱼眼也算在内,再加激光雷达点云。道路布局和交通行为通过一张世界场景图按相机逐路设定,外观用文字来引导。

浅灰台面上,哑光黑的相机镜头排成精确的网格。

Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 经过因果蒸馏的流式版本。它用很少几步去噪就吐出一小段一小段的同步相机视频和激光雷达,长时间交互式推演需要的就是这个,而不是一段固定的片子。

Cosmos3-Nano-Sim-Transfer 接物理模拟器的控制量加一段文字提示,返回照片级的 RGB 视频。物理状态留在模拟器里,模型受四个空间条件约束:深度、分割、边缘和模糊。这个分工才是有用的地方。你留住你信得过的动力学,借来你没有的像素。

Cosmos3-Nano-Sim-Bimanual 从双臂机器人或相机的动作预测下一帧视频。它支持 YAM 和 AgiBot 两种本体,一段控制序列可以在视角变化和操作之间切换。文档里那个混合动作的例子用了 59 个控制值。

值得读的训练细节

NVIDIA 放出了四个阶段的配方:双向适配、教师强制、一致性蒸馏,以及自强制。

最后一个要上点心。自强制是拿模型自己生成的历史来训练,而不是只拿真实帧,这是自回归视频里减缓误差累积的标准做法。只用干净上下文训练,模型就永远学不会从自己的漂移里恢复,而漂移一旦放手跑起来会复利。

看过 AI 视频在十秒之后散架的人,都见过这个症状。把修法以配方形式公布,还配上权重和代码,比再放一段演示片有用。

那句话应该被多引几次

NVIDIA 说,这些模型是否可靠地支持策略学习和评估,还有待测量。

对一次发布来说,这句话诚实得少见,而且它该跟着每一个关于开源世界模型的故事一起出现。公司说的是:一个能产出可信视频的世界模型,并没有因此被证明是一个有用的训练环境。一个在渲染漂亮但物理错误的模拟器里训出来的策略,会学到错的东西,然后在真实世界里失败,而这个失败会看起来像幻觉,不像物理 bug。

填这个缝需要的评测,大多数团队都没条件跑:把一个在生成世界里训好的策略,放到真实硬件上部署,量出差值。这又贵又慢,也不是能塞进发布帖里的那种结果。

所以这次发布老实的说法是:NVIDIA 交给社区四个很强的生成器加配方,同时明确不声称它们能当训练环境用。这个声称要社区自己去挣。

VFlash,以及为什么坐标不是词

自回归解码是为语言设计的,那里下一个 token 是个合理的单位。几何不是这样。一台机器人需要一个抓取点、一个朝向、一条路径,一个一个坐标地生成,既慢又脆。每次预测都以先前那次为条件,所以早期的错会传下去。十个路点就是十次漂移的机会。

VFlash 把逐 token 生成换成了 NVIDIA 说的 flash 图元解码。模型通过一次工具调用声明输出有多长、图元是什么类型,然后一个轻量草稿模型并行地把整个几何对象预测出来,目标视觉语言模型全程冻结。这要解决三个工程问题:边界对齐,让一个解码块对应一整块几何,而不是被 token 窗口切断;位置对齐,让坐标和路点始终落在定宽字段里;还有几何结构学习,这是草稿模型存在的理由。

草稿模型是一个五层的非因果 Transformer,训练时目标视觉语言模型完全冻结。文本子任务还是走投机解码。整套东西是个插件,不需要重训。

数字很具体。H100 上、batch size 为 1,三维点运动预测的单次生成速度最高到 25 倍。机器人动作解码最多快 12 倍。端到端机器人推理最多快 5.1 倍。三维轨迹误差最多降 61%,在 ShareRobot-Bench 和 VABench-V 的六项指标上,平均三维位移误差降了 42.6%。在 DAVIS 上,稠密三维运动预测把位移误差砍了 27%。COCO 和 Dense200 上的边界框生成快 2.6 到 2.8 倍,精度大致在基线水平。

在 MolmoSpaces 里,一个以 VFlash 视觉规划为条件的世界动作模型,平均任务成功率 70.2%,基线是 62.6%。

Jim Fan 的总结是「系统 1 视觉模型的时代到了」,还有「下一次推理革命是以反射速度做物理推理」。营销味有,方向是对的。反射速度的控制需要一次性吐出几何的解码器。

一个团队该从这两件事里拿什么

如果你在做任何碰物理世界的东西,实用的读法是:这套栈的两半同时变便宜了。

生成那一半:四个能下载的 160 亿检查点,带逐相机场景控制、激光雷达同步,还有一个以模拟器为条件的模式,把物理留在你信得过的地方。要求很朴实:Linux、一块 NVIDIA GPU、Docker,还有容器工具包。

控制那一半:一个解码框架,把冻结的视觉语言模型变成快到能在控制频率上做规划的东西,而且不用重训。

没人交付的那一半是评测。在 Cosmos 生成的数据上训出来的策略能不能迁到真实硬件,仍然是开放问题,NVIDIA 自己也这么说。这件事将决定开源世界模型是训练数据的捷径,还是一个非常好看的渲染器。

相关文章