← 返回博客
Ai预计阅读 7 分钟

650 亿的稠密模型赢了八倍大的开源对手,但真正的故事在成本那一行

发布于 2026年11月7日
650 亿的稠密模型赢了八倍大的开源对手,但真正的故事在成本那一行

Ricursive Intelligence 在 11 月 4 日放出 Ripple-65B Preview,权重挂在 Hugging Face 上,Apache 2.0。公司报的数字是 Terminal-Bench 2.1 上 80.52,这个测试看的是智能体在终端里干活。在它自己那张对比表上,这个分数压过了 Reflection 的 Beam 501B(80.1)、Meta 的 Muse Spark Open 816B(76.4)、Thinking Machines 的 975B Inkling(63.8),还有 NVIDIA 的 Nemotron 3 Ultra 550B(56.4)。

一个 650 亿的模型坐在一群 5000 亿以上的模型头顶上,这是标题。底下那一行更有意思:Ricursive 说整个项目从头到尾花了 3200 万美元,大约是上一个纪录保持者花费的十分之一。

故意做成稠密

Ripple 是稠密 Transformer,648 亿参数。每个参数都要在每一个 token 上跑一遍。今年这个答案挺反常,因为一说到扩大规模,默认答案就是混合专家,每个 token 只激活一部分权重。而正是这个选择,让后面的故事成立。

稠密模型对基础设施的要求低一些。没有路由器要平衡,没有专家并行要切分,没有 all-to-all 通信模式要调。Ricursive 说训练时硬件利用率 40%,没用任何自定义 kernel,起点是 Olmo 3 的基线而不是白纸。架构瘦而深:宽度 5120,80 层,注意力头给多了,还加了门控注意力和值残差,帮推理。

公司的说法是,让模型和训练配方去适配硬件,换来的效率相当于用 16 倍的 GPU 去训。Ricursive 本业是做芯片设计工具的,所以这种软硬协同的说法值得多看一眼。能量化的部分是那个利用率数字和「没有自定义 kernel」,这两条只要你有胃口,都能对着训练配方核。

上下文窗口 1,048,576 个 token,预训练用了 12 万亿 token,以英文和代码为主。这次放出三个东西:BF16 的指令微调版本、NVFP4 的四位版本,还有基座。

3200 万美元到底覆盖了什么

发布帖写得很明确,3200 万包含预训练实验、数据、评测、调试和最后那几轮跑。这个数字才是该被争论的地方,因为「整个项目花的钱」和「最后一次训练花的钱」经常被混在一起说。

Ricursive 说团队从一个人长到五个人。没买后训练数据,自己搭了合成流水线。为了拿到那个 Terminal-Bench 分数,跑了 140 万次 rollout,比 Reflection 的 Beam 少大约 70 倍。rollout 少,省下来的东西既体现在账单上,也体现在日历上。

如果这些数字站得住,对那些把资本当护城河的战略来说,结论不太舒服。五个人,不用自定义 kernel,一个稠密模型,十分之一的预算,在一个榜单上拿到纪录。反驳的角度是:单个榜单是很窄的靶子,同一个团队要想全面能打,需要的远不止 3200 万。

这就说到了表上的其余部分。

Ripple 输在哪里

模型卡很坦诚,这也是它换来一点信任的地方。SWE-bench Verified 上 Ripple 是 76.5,Reflection Beam 是 81.6。SciCode 上 39.4,Muse Spark Open 是 58.5。MCP Atlas 这个工具使用测试上 71.67,对手 89.2。DeepSWE 1.1 上 44.3,对手 60.0。

所以画出来的形状是:驱动终端很强,科学代码和工具编排相对最大的那些开源对手平庸。MMLU 89.6,AIME 2024 是 97.1,都略输给最大的模型,这大概就是 650 亿对 8160 亿该有的样子。

模型卡还承认了一件大多数卡会跳过的事:智能体类榜单的分数很难复现,表里有几格用的是 Ricursive 自己跑的数,因为对方实验室没公开数字。它还提到,用官方 Terminus 2 框架、12.8 万序列长度去跑,几乎所有模型的 Terminal-Bench 分数都会更低。这句话值得读两遍。意思是这张对比表内部自洽,但不一定能搬走用。

这个纪录可能也只活了一个星期。Thinking Machines 在 11 月 5 日发了 Inkling 2 Small,据说模型卡上写 Terminal-Bench 2.1 在同一套 Terminus 框架下是 81.3%。但那批权重发布时是闭的,所以不算开源纪录,实验室说外部安全测试之后会补 Apache 2.0 权重。

本地运行这件事,拆开看

Ricursive 说 Ripple 能塞进一台 NVIDIA DGX Spark,甚至能塞进 MacBook。两篇帖都没说这要多少内存,而 Hugging Face 上全精度文件加起来差不多 130GB,远超笔记本。

让本地使用变得说得过去的是量化。仓库带了 NVFP4 权重和一个 Colab 笔记本,Hugging Face 页面上已经列了大约 30 个量化版本。在两块 B200、batch size 8 的情况下,模型每秒出 250 个 token,还没做量化和 kernel 调优,对一个稠密 65B 来说这个数算合理。

对律所或者诊所的吸引力很明显:提示词和代码不出内网,Apache 2.0 允许商用,不用给 Ricursive 交授权费。麻烦在于这是个 Preview,后训练很轻,主要面向写代码,而且仓库里带了自定义代码 `modeling_ricursive.py`,也就是要走 trust-remote-code 那套加载方式。平台团队在把它放到任何要紧的地方之前,应该先读一遍那个文件。

一家芯片公司为什么发模型

Ricursive 的生意是芯片设计工具,Ripple 是那套平台背后模型的通用版本。公司的论点是模型架构和芯片架构必须一起设计,发一个开源模型是把这句话摆到台面上验证的方式。

这跟前沿实验室的动机不一样,也改变了对它的期待。Ricursive 不需要在广度上赢。它需要证明一个小而匹配的模型、跑在匹配的硬件上,能干正经的智能体活,因为这就是它卖给那些买不起数据中心的人的卖点。

纪录能不能扛住审视,其实不如配方能不能扛住重要。一个稠密 65B,3200 万美元训出来,跑在桌面盒子上,宽松许可,这是一个具体而且可以验证的命题。如果它成立,有意思的问题就不再是谁的模型最大,而是谁还负担得起继续假装规模是唯一的轴。

相关文章