65B 密集模型超車 500B 級對手,訓練只花 3200 萬美元

Ricursive Intelligence 在 11 月 4 日發布 Ripple-65B Preview,權重放上 Hugging Face,採 Apache 2.0。公司宣稱在 Terminal-Bench 2.1 拿到 80.52,這項測試考的是代理在終端機裡工作的能力。在它自家比較表上,這略勝 Reflection 的 Beam 501B(80.1)、Meta 的 Muse Spark Open 816B(76.4)、Thinking Machines 的 975B Inkling(63.8),以及 NVIDIA 的 Nemotron 3 Ultra 550B(56.4)。
一張塞滿 500B 以上模型的表,冠軍卻是 65B,這當然是頭條。下面那一行更耐人尋味:Ricursive 說整件事從頭到尾花了 3200 萬美元,大約是前一位紀錄保持人的十分之一。
刻意做成密集模型
Ripple 是 648 億參數的密集 Transformer。每個參數在每個 token 上都要跑一遍。今年大家講到規模,預設答案幾乎都是混合專家,每個 token 只啟動一部分權重;Ripple 反其道而行,而正是這個決定讓後面的故事成立。
密集模型對基礎設施的要求比較低。沒有路由器要平衡,沒有專家平行要切分,也沒有 all-to-all 通訊模式要調。Ricursive 說訓練時硬體利用率 40%,沒寫任何自訂 kernel,起點是 Olmo 3 而不是白紙。架構走得又窄又深:寬度 5120、80 層,注意力頭開得比一般多,另加閘控注意力與 value residual 來幫忙推理。
公司的說法是,把模型與訓練配方一起對硬體調整,換到的效率相當於用 16 倍的 GPU 來訓練。Ricursive 本業是晶片設計工具,這類軟硬體共同設計的說法值得先打個問號。可以量的只有兩項:利用率數字,以及沒有自訂 kernel。只要你願意,這兩項都能對照訓練配方驗證。
上下文視窗 1,048,576 token,預訓練用了 12 兆 token,以英文文本與程式碼為主。發布內容包含 BF16 指令微調檢查點、NVFP4 四位元檢查點,以及 base 模型。
3200 萬美元包含什麼
發布文章講得很清楚:3200 萬美元涵蓋預訓練實驗、資料、評測、除錯與最後幾輪訓練。這個數字值得吵,因為整個計畫的成本和最後一次訓練的成本,經常被混為一談。
Ricursive 說團隊從一人長到五人。沒買任何後訓練資料,合成管線自己蓋。為了達到那個 Terminal-Bench 分數,跑了 140 萬次 rollout,大約是 Reflection Beam 所需數量的七十分之一。rollout 少,省下的會同時反映在帳單和日曆上。
如果這些數字站得住,對那些把資本當護城河的人來說就不太舒服。五個人、沒有自訂 kernel、一顆密集模型、十分之一預算,在單一基準上刷新紀錄。反駁也不難:單一基準是很窄的靶,同一支團隊要在各方面都有競爭力,花的錢遠不止 3200 萬美元。
這就帶到表格的其他部分。
Ripple 輸在哪裡
模型卡寫得坦白,這也是它值得一點信任的地方。SWE-bench Verified 上 Ripple 是 76.5,Reflection Beam 是 81.6。SciCode 拿 39.4,Muse Spark Open 是 58.5。工具使用測試 MCP Atlas 是 71.67 對 89.2。DeepSWE 1.1 是 44.3 對 60.0。
模式很清楚:這顆模型很會操作終端機,但在科學程式碼與工具編排上,相對最大的開放對手只算中等。MMLU 89.6、AIME 2024 97.1,都略輸給最大的模型。65B 對上 816B,本來就該是這樣。
模型卡還承認一件多數模型卡會跳過的事:代理型基準的分數很難複現,表上有些格子用的是 Ricursive 自己跑的結果,因為對方實驗室沒公布數字。它還註明,改用官方 Terminus 2 harness、序列長度 128K 重跑時,幾乎每個模型的 Terminal-Bench 分數都變低。這句話值得讀兩遍。意思是這張比較表內部一致,但未必能搬到別的設定上。
這項紀錄可能只活了大約一週。Thinking Machines 在 11 月 5 日發布 Inkling 2 Small,據報其模型卡在同樣的 Terminus harness 上,Terminal-Bench 2.1 拿到 81.3%。權重在發布時並未公開,所以不算開放權重紀錄;該實驗室說等外部安全測試完成後,會釋出 Apache 2.0 權重。
拆解「可以在本機跑」這句話
Ricursive 說 Ripple 塞得進 NVIDIA DGX Spark,甚至塞得進 MacBook。兩篇貼文都沒說要多少記憶體,而 Hugging Face 上的全精度檔案加起來約 130 GB,遠超過任何一台筆電。
讓本機執行變得可行的是量化。倉庫裡有 NVFP4 檢查點和一份 Colab 筆記本,Hugging Face 頁面已列出約 30 個量化版本。在兩張 B200、batch size 8 的條件下,模型每秒生成 250 個 token,這是量化與 kernel 調校之前的數字,對密集 65B 來說算合理。
對律師事務所或診所來說,吸引力很明顯:提示與程式碼不離開內網,Apache 2.0 允許商業使用,不必付 Ricursive 授權費。代價是這版是 Preview,後訓練很輕,而且偏向寫程式;倉庫裡的 modeling_ricursive.py 是自訂程式碼,載入時得開 trust-remote-code。平台團隊要在正式環境跑之前,先把那個檔案讀過一遍。
晶片公司為什麼要發模型
Ricursive 的本業是晶片設計工具,Ripple 是那套平台背後模型的一般用途版本。公司的論點是模型架構與晶片架構必須一起設計,而丟出一顆開放模型,是把這個主張公開驗證的方法。
動機與前沿實驗室不同,該期待的結果也不同。Ricursive 不需要在廣度上贏。它要證明的是:一顆小模型配上匹配得好的硬體,可以勝任認真的代理工作。因為這正是它賣給買不起資料中心的客戶的那套說法。
基準紀錄能不能通過檢驗,其實不如配方能不能通過檢驗重要。一顆花 3200 萬美元訓練出來的密集 65B、跑在桌機上、授權寬鬆,這是具體而且可以測試的主張。如果成立,接下來有意思的問題就不再是誰的模型最大,而是誰還有本錢繼續假裝規模是唯一的軸線。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。