← 返回博客
Ai预计阅读 9 分钟

英伟达的 4B 世界模型跑上了 Mac,它不是一台摄像机

发布于 2026年11月11日
英伟达的 4B 世界模型跑上了 Mac,它不是一台摄像机

11 月 7 日,一位署名 NetProjects 的开发者放出了英伟达 Cosmos3-Edge 的 MLX 移植。完整构建 7.6 GB,8 位构建 5.0 GB。在一台 128 GB 统一内存的 M5 Max 上,8 位版跑完了英伟达自己的图生视频示例,832×480、121 帧,用了 113 秒,内存峰值 18.8 GB。

把这些数字换成有意义的单位再读一遍。113 秒生成大约五秒 480p 的视频。也就是每秒的计算产出一帧,在一台笔记本上,一个四十亿参数的模型。

第一反应会是这东西做视频没用。正确的反应是,没人是为了做视频才做它的。

Cosmos3-Edge 到底是什么

Cosmos3-Edge 是一个 4B 参数的世界模型。它生成 256p 或 480p 的视频,50 到 150 帧,输入是文字或一张起始图。它按 OpenMDW 1.1 许可发布,允许商用。

关键词是世界模型。英伟达做这一族模型是为了机器人和自动驾驶,那里的任务是在给定场景和动作的情况下预测接下来会发生什么。输出是一个关于物理的假设:如果车保持这条轨迹,行人会不会走出来,箱子会不会滑动,机械臂会不会撞到货架。

英伟达自己的模型卡说,输出「不应被视为物理上准确的仿真」。这句话就是整个设计说明。模型应该产生足够可信、可以用来对抗训练的运动会,同时以你能测量的方式出错。如果你的下游消费者是一个策略网络,一个违反动量守恒的写实渲染,比一个丑但守规矩的渲染更糟。

所以 480p 的天花板不是一个需要道歉的限制。机器人训练不需要 4K。它需要很多变化、快、便宜,并且足够一致,让在上面训练出的策略能迁移到真实世界。

Mac 移植为什么重要

因为它改变了谁能跑一个。

在此之前,评估一个世界模型意味着要分到 GPU。份额小,但真实,还带着驱动栈、容器和别人的集群。那是一道筛子。意思是能上手戳模型的人,是已经有基础设施的人,而有意思的机器人学问题往往在没基础设施的人手里。

一个 5.0 GB 的 8 位构建,能在 Apple 芯片上通过 MLX 跑,把这道筛子拆了。任何有较新的 Mac 和足够内存的人,可以一晚上生成一百段,看一看,形成一个判断。一个研究方向就是这么变成一个领域而不是一个 demo 的。

128 GB 这个数字在这里起了作用。18.8 GB 的内存峰值意味着机器不必是顶配。一台 32 GB 的 Mac 应该装得下 8 位构建,还给系统留了空间。113 秒这个数在内存带宽更慢的机器上会更难看,但能不能跑起来本身才是门槛。

关于 MLX 还有一个更微妙的点。苹果这套框架是为统一内存优化的,正好贴合这个负载。一个 4B 的扩散式视频模型,更多是内存带宽受限而不是算力受限。这也是这个移植一开始就说得通的原因,也是它表现好于按 teraflops 朴素估算的原因。

那些警告是真的

这是一个非官方移植。作者明说与英伟达没有关系。没有 demo。简报站去加载 GitHub 安装页的时候,没打开。

一个 5 GB 的下载、一个 MLX 环境、一个没有 demo 的模型、一个不知道能不能渲染出来的安装页,这是某个人想看看行不行而做出来的周末产物。它不是产品。任何性能声明都要按这个前提看,包括 113 秒,那只是单机、单示例上的一个数据点。

还有一个许可细节,在做任何商用之前值得读。OpenMDW 1.1 允许商用,但它不是 Apache 2.0,也不是 MIT。读条款,尤其是你打算分发模型权重或输出的时候。

以及世界模型那个老生常谈的质量警告。喂它一张厨房照片和一句「机械臂去拿杯子」的 prompt,你会得到看起来合理的运动。凑近看,杯子可能变形,手臂可能穿过台面,光线可能漂移。这些失败正是机器人研究者想测量的。也正是剪辑师不能用的。

113 秒买到了什么

把这个交易说具体一点,因为这个数字听起来很糟,而大概并不糟。

如果你在为某个操作策略生成训练数据,你不需要二十段。你需要几千段,在光照、物体姿态、镜头角度和表面材质上都有变化。一条在笔记本上每两分钟产出一段 121 帧片子的流水线,一天无人值守能出大约 700 段。对一个小的实验来说,这是一个能用的数据集,代价是电费。

对比同样体量去租 GPU 时间。租的每段更快,但需要一整套运维层。对一个研究生,或者一个在测试世界模型到底是不是正确路线的两人创业团队,笔记本在「拿到第一个结果的时间」上赢,而那是在这个阶段唯一重要的指标。

113 秒还买到另一样东西:对规模的诚实。当每一段都要花你自己机器两分钟的注意力,你会去看它们。你会注意到失败。当每一段只要四美分、一次来五百段,你会做聚合然后往下走。慢是一种强迫你真正读输出的力量。

值得留意的模式

这周要紧的是时间。移植发生在模型发布周期之后六天,由一个人完成,免费,跑在英伟达不卖的硬件上。

开放权重的扩散路线现在长这样。一个实验室以相对宽松的许可放出权重。一周之内,有人做出 MLX 构建,另一个人做出 GGUF 量化,第三个人做出 ComfyUI 节点。官方工具几个月后才到,如果有的话。

对英伟达来说这基本是好事。Cosmos 是一个战略押注,赌世界模型会成为物理 AI 的训练底座,而底座能跑的人越多越值钱。把它锁在数据中心 GPU 上能保护一段利润,同时缩小一个生态。

对苹果来说这是一个安静的胜利。每一个这样的移植,都是「统一内存对推理负载够用」的论据,而那些负载以前被认为需要独立显卡。M5 Max 在任何一项上都打不过 H100。它确实让一类模型变得能被那些永远不会碰 H100 的人跑起来。

113 秒这个数字在更多人上手之后还站不站得住,是个开放问题。总有人会在 24 GB 的 M4 Pro 上跑,撞到内存墙,然后发一个更正。这没关系。有用的结论是:一个 4B 的世界模型现在能塞进一台笔记本,这改变了谁有资格对世界模型发表意见。速度只是个脚注。

相关文章