← 返回部落格
Ai預計閱讀 9 分鐘

744B 模型住進 9.9 GB 記憶體,專家從硬碟上讀

發布於 2026年11月11日
744B 模型住進 9.9 GB 記憶體,專家從硬碟上讀

colibri 的 README 裡有一行讀起來像打錯字。一個 7,440 億參數的模型,int4,從 CPU 串流跑,32 秒就緒,常駐 9.9 GB。在筆電上。沒有顯示卡。

它不是打錯字,但也不是完整的那句話。那 9.9 GB 是留在記憶體裡的部分。模型真正要查的 429 GB 專家在你的磁碟上,模型要的時候才讀進來。這個區分就是整個專案。

colibri 用 C 寫,一個模型家族一個檔案,作者網路化名 JustVugg。這週上了 GitHub trending,大約一天 803 星。目前發十三個引擎:十個語言模型,一個畫圖,兩個做分類判定。它對取捨的描述直白得少見,這也是它值得認真看的原因。

串流讀專家,到底換來什麼

MoE 模型內部本來就在玩這個把戲。一個 744B 模型處理一個 token 不會用到 744B 參數。它把這個 token 路由給一小撮專家,可能是 512 個裡的 8 個,再加一個共享的。其餘都閒著。

資料中心推論把它們全留在視訊記憶體裡,因為視訊記憶體比任何替代方案都快。colibri 把假設倒過來:如果任何一個 token 上 95% 的權重都閒著,為什麼把它們放在你最貴的那層記憶體裡?常用的部分放記憶體,專家放磁碟,只讀路由選中的那些。

代價是延遲,colibri 不藏。README 自己的表裡,GLM-5.2 在 25 GB 筆電上冷跑是每秒 0.05 到 0.1 token。那不是聊天體驗。那是二十秒一句話。在 128 GB 的 Ryzen AI Max+ 395 上到 1.83 tok/s。六張 RTX 5090 上是 9.0 到 9.2。284B 的 DeepSeek V4 Flash 在 32 GB 的 Ryzen 7 5800X 上 0.93 tok/s,加一張 RTX 5080 幫忙是 1.5 到 1.6。

這些數字是專案誠實的那部分。很多「能在你筆電上跑」的說法,悄悄的意思是「如果你的筆電是工作站」。這個把慢的案例和快的案例一起發出來,而慢的案例是真的慢。

木桌上的一台筆電,旁邊一顆外接硬碟讀寫燈亮著,螢幕的光映在桌面上

安裝是一個批次檔

讓 colibri 不止於獵奇的是,有人幹了那不體面的活:把它打包給不編譯東西的人。

Windows 上下載 ZIP,雙擊 START-HERE.bat,沒有 Python 它會問你要不要裝。Linux 和 macOS 上是 git clone 加 ./start-here.sh。腳本按順序做五件事:讀你的記憶體、磁碟、CPU 和 GPU;推薦一個常駐部分加最小專家快取能塞進你記憶體的模型;有編譯器就為本機編引擎,沒有就下載預先編譯的二進位檔;帶續傳下載模型;起一個帶儀表板的本地服務。

最低配置是 8 GB 記憶體加 22 GB 可用磁碟,跑最小的模型。GPU 可選,README 對什麼時候有用說得很具體:獨立顯卡上總是有用,內顯上只對他們測出更快的那三個模型有用。

服務說兩種要緊的方言。http://127.0.0.1:8000/v1 是 OpenAI 相容的 base URL,裸連接埠是 Anthropic 相容。所以實際用法不是往終端機裡打字。是把一個現成的工具指向 localhost,讓它以為自己在跟雲端業者說話。

它還會畫圖

第十三個引擎是抓住我注意的那個,因為它把文字推論專案變成了跟影像工作相關的東西。colibri 帶一個 Qwen-Image-2.1 引擎。就是阿里九月發的那個 7B 模型,原生 2048×2048 輸出、真 Alpha 通道的那個。

README 裡測出來的數字:33 GB 下載,12 到 18 GB 記憶體,GPU 路徑走 Vulkan,八核 Zen 4、純 CPU 出一張 768×512 用兩分四十秒。也可以走 HTTP,POST /v1/images/generations,而 coli chat 會用方塊字元在終端機裡把結果畫出來。

768×512 兩分四十秒不會替代任何人的 API 帳單。但它重新定義了這個模型是什麼。Qwen-Image-2.1 發布時是僅限研究的授權,意味著你把它放到收費產品後面的那一刻,就有一場授權談判要談。一個能在 CPU 上跑它的本地引擎,正好是那場談判之前那個階段的工具形狀:你在評估,不是在賣。

磁碟在哪裡成為瓶頸

README 說得很直:對大模型,速度由磁碟決定,快的 NVMe 幫助最大。這是實打實的架構約束,不是腳註。SATA SSD 的循序讀吞吐大約是像樣 NVMe 的十分之一,而這裡的存取模式也不是完全循序的。

所以誠實的想法是把 colibri 看成一個帶命令列的記憶體分層系統。你在拿吞吐換容量。429 GB 的模型塞不進 32 GB 記憶體。它塞得進一顆 1 TB 硬碟。這筆交易值不值,完全取決於你是更需要模型的能力,還是更需要它的速度。

還有一個二階效應,對做代理的人要緊。代理是突發型的。閒幾分鐘,然後打二十個工具呼叫。一個每次回應二十秒的本地模型在那個迴圈裡沒法用。每次兩分鐘的也沒法用。所以誠實的用例是批次處理:把這個資料夾總結一下,把這四百份文件分類,寫這十二條產品描述。你走開讓它跑的那種活。

我會先測的那部分

在你投入磁碟空間之前,三件事值得查。

冷啟動對比熱啟動。 README 裡那個 32 秒是 GLM-5.2、頁面快取熱著的情況,大概是。開機後第一次跑會更慢,機械硬碟上會慢得多。自己計時。

你的模型到底支不支援。 十三個引擎按手寫 C 的標準算多,但那是開放權重生態裡很小的一片。README 提到同架構的 checkpoint 不用改就能跑,這是一個有用的逃生口,也是一個提醒:「同架構」這四個字在那句話裡默默承擔了很多。

你載入的那個東西的授權。 colibri 本身不改變它跑的權重的條款。Qwen-Image-2.1 是僅限研究。有些語言模型是 MIT。有些不是。引擎是中立的;模型不是。

為什麼這不只是一個倉庫的事

兩年來關於本地 AI 的故事都是量化:把模型做小到塞得進去。每個權重兩位元,4 GB 視訊記憶體,一台手機。那條路是真的,也確實做出了有用的東西。

colibri 指的是另一根軸。不是把模型變小,是把記憶體階層做深。記憶體比視訊記憶體便宜。磁碟比記憶體便宜。「一個存在的模型」和「一個我能跑的模型」之間的差距,不必只靠壓縮來填;也可以靠接受一個更慢的階層來填。

這不算新想法。資料庫這麼幹了四十年,作業系統更久。新的是有人把它做成了批次檔,跑一個 744B 模型,把慢的基準和快的一起發出來,盒子裡還塞了個影像模型。

這個倉庫不會替代你的 API 訂閱。它可能替代的是那個假設:700B 模型只能租。而它在八個 CPU 核心上兩分四十秒畫出來的圖,提醒得挺好:「本地」不是二選一,是你設的一個預算。

相關文章