輝達的 4B 世界模型跑上了 Mac,它不是一台攝影機

11 月 7 日,一位署名 NetProjects 的開發者放出了輝達 Cosmos3-Edge 的 MLX 移植。完整建置 7.6 GB,8 位元建置 5.0 GB。在一台 128 GB 統一記憶體的 M5 Max 上,8 位元版跑完了輝達自己的圖生影片範例,832×480、121 幀,用了 113 秒,記憶體峰值 18.8 GB。
把這些數字換成有意義的單位再讀一遍。113 秒生成大約五秒 480p 的影片。也就是每秒的計算產出一幀,在一台筆電上,一個四十億參數的模型。
第一反應會是這東西做影片沒用。正確的反應是,沒人是為了做影片才做它的。
Cosmos3-Edge 到底是什麼
Cosmos3-Edge 是一個 4B 參數的世界模型。它生成 256p 或 480p 的影片,50 到 150 幀,輸入是文字或一張起始圖。它按 OpenMDW 1.1 授權發布,允許商用。
關鍵詞是世界模型。輝達做這一族模型是為了機器人和自動駕駛,那裡的任務是在給定場景和動作的情況下預測接下來會發生什麼。輸出是一個關於物理的假設:如果車保持這條軌跡,行人會不會走出來,箱子會不會滑動,機械臂會不會撞到貨架。
輝達自己的模型卡說,輸出「不應被視為物理上準確的模擬」。這句話就是整個設計說明。模型應該產生足夠可信、可以用來對抗訓練的運動會,同時以你能測量的方式出錯。如果你的下游消費者是一個策略網路,一個違反動量守恆的寫實算圖,比一個醜但守規矩的算圖更糟。
所以 480p 的天花板不是一個需要道歉的限制。機器人訓練不需要 4K。它需要很多變化、快、便宜,並且足夠一致,讓在上面訓練出的策略能遷移到真實世界。
Mac 移植為什麼重要
因為它改變了誰能跑一個。
在此之前,評估一個世界模型意味著要分到 GPU。份額小,但真實,還帶著驅動堆疊、容器和別人的叢集。那是一道篩子。意思是能上手戳模型的人,是已經有基礎設施的人,而有意義的機器人學問題往往在沒基礎設施的人手裡。
一個 5.0 GB 的 8 位元建置,能在 Apple 晶片上透過 MLX 跑,把這道篩子拆了。任何有較新的 Mac 和足夠記憶體的人,可以一晚上生成一百段,看一看,形成一個判斷。一個研究方向就是這麼變成一個領域而不是一個 demo 的。
128 GB 這個數字在這裡起了作用。18.8 GB 的記憶體峰值意味著機器不必是頂配。一台 32 GB 的 Mac 應該裝得下 8 位元建置,還給系統留了空間。113 秒這個數在記憶體頻寬更慢的機器上會更難看,但能不能跑起來本身才是門檻。
關於 MLX 還有一個更微妙的點。蘋果這套框架是為統一記憶體優化的,正好貼合這個負載。一個 4B 的擴散式影片模型,更多是記憶體頻寬受限而不是算力受限。這也是這個移植一開始就說得通的原因,也是它表現好於按 teraflops 樸素估算的原因。
那些警告是真的
這是一個非官方移植。作者明說與輝達沒有關係。沒有 demo。簡報站去載入 GitHub 安裝頁的時候,沒打開。
一個 5 GB 的下載、一個 MLX 環境、一個沒有 demo 的模型、一個不知道能不能算圖算出來的安裝頁,這是某個人想看看行不行而做出來的週末產物。它不是產品。任何效能聲明都要按這個前提看,包括 113 秒,那只是單機、單範例上的一個資料點。
還有一個授權細節,在做任何商用之前值得讀。OpenMDW 1.1 允許商用,但它不是 Apache 2.0,也不是 MIT。讀條款,尤其是你打算分發模型權重或輸出的時候。
以及世界模型那個老生常談的品質警告。餵它一張廚房照片和一句「機械臂去拿杯子」的 prompt,你會得到看起來合理的運動。湊近看,杯子可能變形,手臂可能穿過檯面,光線可能漂移。這些失敗正是機器人研究者想測量的。也正是剪輯師不能用的。
113 秒買到了什麼
把這個交易說具體一點,因為這個數字聽起來很糟,而大概並不糟。
如果你在為某個操作策略生成訓練資料,你不需要二十段。你需要幾千段,在光照、物體姿態、鏡頭角度和表面材質上都有變化。一條在筆電上每兩分鐘產出一段 121 幀片子的流水線,一天無人值守能出大約 700 段。對一個小的實驗來說,這是一個能用的資料集,代價是電費。
對比同樣體量去租 GPU 時間。租的每段更快,但需要一整套維運層。對一個研究生,或者一個在測試世界模型到底是不是正確路線的兩人新創團隊,筆電在「拿到第一個結果的時間」上贏,而那是在這個階段唯一重要的指標。
113 秒還買到另一樣東西:對規模的誠實。當每一段都要花你自己機器兩分鐘的注意力,你會去看它們。你會注意到失敗。當每一段只要四美分、一次來五百段,你會做聚合然後往下走。慢是一種強迫你真正讀輸出的力量。
值得留意的模式
這週要緊的是時間。移植發生在模型發布週期之後六天,由一個人完成,免費,跑在輝達不賣的硬體上。
開放權重的擴散路線現在長這樣。一個實驗室以相對寬鬆的授權放出權重。一週之內,有人做出 MLX 建置,另一個人做出 GGUF 量化,第三個人做出 ComfyUI 節點。官方工具幾個月後才到,如果有的話。
對輝達來說這基本是好事。Cosmos 是一個戰略押注,賭世界模型會成為物理 AI 的訓練底座,而底座能跑的人越多越值錢。把它鎖在資料中心 GPU 上能保護一段利潤,同時縮小一個生態。
對蘋果來說這是一個安靜的勝利。每一個這樣的移植,都是「統一記憶體對推理負載夠用」的論據,而那些負載以前被認為需要獨立顯卡。M5 Max 在任何一項上都打不過 H100。它確實讓一類模型變得能被那些永遠不會碰 H100 的人跑起來。
113 秒這個數字在更多人上手之後還站不站得住,是個開放問題。總有人會在 24 GB 的 M4 Pro 上跑,撞到記憶體牆,然後發一個更正。這沒關係。有用的結論是:一個 4B 的世界模型現在能塞進一台筆電,這改變了誰有資格對世界模型發表意見。速度只是個腳註。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。