← 返回博客
Ai预计阅读 8 分钟

744B 模型住进 9.9 GB 内存,专家从硬盘上读

发布于 2026年11月11日
744B 模型住进 9.9 GB 内存,专家从硬盘上读

colibri 的 README 里有一行读起来像打错字。一个 7,440 亿参数的模型,int4,从 CPU 流式跑,32 秒就绪,常驻 9.9 GB。在笔记本上。没有显卡。

它不是打错字,但也不是完整的那句话。那 9.9 GB 是留在内存里的部分。模型真正要查的 429 GB 专家在你的磁盘上,模型要的时候才读进来。这个区分就是整个项目。

colibri 用 C 写,一个模型家族一个文件,作者网名 JustVugg。这周上了 GitHub trending,大约一天 803 星。目前发十三个引擎:十个语言模型,一个画图,两个做分类判定。它对取舍的描述直白得少见,这也是它值得认真看的原因。

流式读专家,到底换来什么

MoE 模型内部本来就在玩这个把戏。一个 744B 模型处理一个 token 不会用到 744B 参数。它把这个 token 路由给一小撮专家,可能是 512 个里的 8 个,再加一个共享的。其余都闲着。

数据中心推理把它们全留在显存里,因为显存比任何替代方案都快。colibri 把假设倒过来:如果任何一个 token 上 95% 的权重都闲着,为什么把它们放在你最贵的那层内存里?常用的部分放内存,专家放磁盘,只读路由选中的那些。

代价是延迟,colibri 不藏。README 自己的表里,GLM-5.2 在 25 GB 笔记本上冷跑是每秒 0.05 到 0.1 token。那不是聊天体验。那是二十秒一句话。在 128 GB 的 Ryzen AI Max+ 395 上到 1.83 tok/s。六张 RTX 5090 上是 9.0 到 9.2。284B 的 DeepSeek V4 Flash 在 32 GB 的 Ryzen 7 5800X 上 0.93 tok/s,加一张 RTX 5080 帮忙是 1.5 到 1.6。

这些数字是项目诚实的那部分。很多「能在你笔记本上跑」的说法,悄悄的意思是「如果你的笔记本是工作站」。这个把慢的案例和快的案例一起发出来,而慢的案例是真的慢。

木桌上的一台笔记本,旁边一块外置硬盘读写灯亮着,屏幕的光映在桌面上

安装是一个批处理文件

让 colibri 不止于猎奇的是,有人干了那不体面的活:把它打包给不编译东西的人。

Windows 上下载 ZIP,双击 START-HERE.bat,没有 Python 它会问你要不要装。Linux 和 macOS 上是 git clone 加 ./start-here.sh。脚本按顺序做五件事:读你的内存、磁盘、CPU 和 GPU;推荐一个常驻部分加最小专家缓存能塞进你内存的模型;有编译器就为本机编引擎,没有就下预编译二进制;带断点续传下模型;起一个带仪表盘的本地服务。

最低配置是 8 GB 内存加 22 GB 空闲磁盘,跑最小的模型。GPU 可选,README 对什么时候有用说得很具体:独显上总是有用,核显上只对他们测出更快的那三个模型有用。

服务说两种要紧的方言。http://127.0.0.1:8000/v1 是 OpenAI 兼容的 base URL,裸端口是 Anthropic 兼容。所以实际用法不是往终端里打字。是把一个现成的工具指向 localhost,让它以为自己在跟云厂商说话。

它还会画图

第十三个引擎是抓住我注意的那个,因为它把文本推理项目变成了跟图像工作相关的东西。colibri 带一个 Qwen-Image-2.1 引擎。就是阿里九月发的那个 7B 模型,原生 2048×2048 输出、真 Alpha 通道的那个。

README 里测出来的数字:33 GB 下载,12 到 18 GB 内存,GPU 路径走 Vulkan,八核 Zen 4、纯 CPU 出一张 768×512 用两分四十秒。也可以走 HTTP,POST /v1/images/generations,而 coli chat 会用方块字符在终端里把结果画出来。

768×512 两分四十秒不会替代任何人的 API 账单。但它重新定义了这个模型是什么。Qwen-Image-2.1 发布时是仅限研究的许可证,意味着你把它放到收费产品后面的那一刻,就有一场许可谈判要谈。一个能在 CPU 上跑它的本地引擎,正好是那场谈判之前那个阶段的工具形状:你在评估,不是在卖。

磁盘在哪里成为瓶颈

README 说得很直:对大模型,速度由磁盘决定,快的 NVMe 帮助最大。这是实打实的架构约束,不是脚注。SATA SSD 的顺序读吞吐大约是像样 NVMe 的十分之一,而这里的访问模式也不是完全顺序的。

所以诚实的想法是把 colibri 看成一个带命令行的内存分层系统。你在拿吞吐换容量。429 GB 的模型塞不进 32 GB 内存。它塞得进一块 1 TB 硬盘。这笔交易值不值,完全取决于你是更需要模型的能力,还是更需要它的速度。

还有一个二阶效应,对做智能体的人要紧。智能体是突发型的。闲几分钟,然后打二十个工具调用。一个每次响应二十秒的本地模型在那个循环里没法用。每次两分钟的也没法用。所以诚实的用例是批处理:把这个文件夹总结一下,把这四百份文档分类,写这十二条产品描述。你走开让它跑的那种活。

我会先测的那部分

在你投入磁盘空间之前,三件事值得查。

冷启动对比热启动。 README 里那个 32 秒是 GLM-5.2、页面缓存热着的情况,大概是。开机后第一次跑会更慢,机械盘上会慢得多。自己掐表。

你的模型到底支不支持。 十三个引擎按手写 C 的标准算多,但那是开放权重生态里很小的一片。README 提到同架构的 checkpoint 不用改就能跑,这是一个有用的逃生口,也是一个提醒:「同架构」这四个字在那句话里默默承担了很多。

你加载的那个东西的许可证。 colibri 本身不改变它跑的权重的条款。Qwen-Image-2.1 是仅限研究。有些语言模型是 MIT。有些不是。引擎是中立的;模型不是。

为什么这不只是一个仓库的事

两年来关于本地 AI 的故事都是量化:把模型做小到塞得进去。每权重两比特,4 GB 显存,一台手机。那条路是真的,也确实做出了有用的东西。

colibri 指的是另一根轴。不是把模型变小,是把内存层级做深。内存比显存便宜。磁盘比内存便宜。「一个存在的模型」和「一个我能跑的模型」之间的差距,不必只靠压缩来填;也可以靠接受一个更慢的层级来填。

这不算新想法。数据库这么干了四十年,操作系统更久。新的是有人把它做成了批处理文件,跑一个 744B 模型,把慢的基准和快的一起发出来,盒子里还塞了个图像模型。

这个仓库不会替代你的 API 订阅。它可能替代的是那个假设:700B 模型只能租。而它在八个 CPU 核上两分四十秒画出来的图,提醒得挺好:「本地」不是二选一,是你设的一个预算。

相关文章