744B 模型住進 9.9 GB 記憶體,專家從硬碟上讀

colibri 的 README 裡有一行讀起來像打錯字。一個 7,440 億參數的模型,int4,從 CPU 串流跑,32 秒就緒,常駐 9.9 GB。在筆電上。沒有顯示卡。
它不是打錯字,但也不是完整的那句話。那 9.9 GB 是留在記憶體裡的部分。模型真正要查的 429 GB 專家在你的磁碟上,模型要的時候才讀進來。這個區分就是整個專案。
colibri 用 C 寫,一個模型家族一個檔案,作者網路化名 JustVugg。這週上了 GitHub trending,大約一天 803 星。目前發十三個引擎:十個語言模型,一個畫圖,兩個做分類判定。它對取捨的描述直白得少見,這也是它值得認真看的原因。
串流讀專家,到底換來什麼
MoE 模型內部本來就在玩這個把戲。一個 744B 模型處理一個 token 不會用到 744B 參數。它把這個 token 路由給一小撮專家,可能是 512 個裡的 8 個,再加一個共享的。其餘都閒著。
資料中心推論把它們全留在視訊記憶體裡,因為視訊記憶體比任何替代方案都快。colibri 把假設倒過來:如果任何一個 token 上 95% 的權重都閒著,為什麼把它們放在你最貴的那層記憶體裡?常用的部分放記憶體,專家放磁碟,只讀路由選中的那些。
代價是延遲,colibri 不藏。README 自己的表裡,GLM-5.2 在 25 GB 筆電上冷跑是每秒 0.05 到 0.1 token。那不是聊天體驗。那是二十秒一句話。在 128 GB 的 Ryzen AI Max+ 395 上到 1.83 tok/s。六張 RTX 5090 上是 9.0 到 9.2。284B 的 DeepSeek V4 Flash 在 32 GB 的 Ryzen 7 5800X 上 0.93 tok/s,加一張 RTX 5080 幫忙是 1.5 到 1.6。
這些數字是專案誠實的那部分。很多「能在你筆電上跑」的說法,悄悄的意思是「如果你的筆電是工作站」。這個把慢的案例和快的案例一起發出來,而慢的案例是真的慢。

安裝是一個批次檔
讓 colibri 不止於獵奇的是,有人幹了那不體面的活:把它打包給不編譯東西的人。
Windows 上下載 ZIP,雙擊 START-HERE.bat,沒有 Python 它會問你要不要裝。Linux 和 macOS 上是 git clone 加 ./start-here.sh。腳本按順序做五件事:讀你的記憶體、磁碟、CPU 和 GPU;推薦一個常駐部分加最小專家快取能塞進你記憶體的模型;有編譯器就為本機編引擎,沒有就下載預先編譯的二進位檔;帶續傳下載模型;起一個帶儀表板的本地服務。
最低配置是 8 GB 記憶體加 22 GB 可用磁碟,跑最小的模型。GPU 可選,README 對什麼時候有用說得很具體:獨立顯卡上總是有用,內顯上只對他們測出更快的那三個模型有用。
服務說兩種要緊的方言。http://127.0.0.1:8000/v1 是 OpenAI 相容的 base URL,裸連接埠是 Anthropic 相容。所以實際用法不是往終端機裡打字。是把一個現成的工具指向 localhost,讓它以為自己在跟雲端業者說話。
它還會畫圖
第十三個引擎是抓住我注意的那個,因為它把文字推論專案變成了跟影像工作相關的東西。colibri 帶一個 Qwen-Image-2.1 引擎。就是阿里九月發的那個 7B 模型,原生 2048×2048 輸出、真 Alpha 通道的那個。
README 裡測出來的數字:33 GB 下載,12 到 18 GB 記憶體,GPU 路徑走 Vulkan,八核 Zen 4、純 CPU 出一張 768×512 用兩分四十秒。也可以走 HTTP,POST /v1/images/generations,而 coli chat 會用方塊字元在終端機裡把結果畫出來。
768×512 兩分四十秒不會替代任何人的 API 帳單。但它重新定義了這個模型是什麼。Qwen-Image-2.1 發布時是僅限研究的授權,意味著你把它放到收費產品後面的那一刻,就有一場授權談判要談。一個能在 CPU 上跑它的本地引擎,正好是那場談判之前那個階段的工具形狀:你在評估,不是在賣。
磁碟在哪裡成為瓶頸
README 說得很直:對大模型,速度由磁碟決定,快的 NVMe 幫助最大。這是實打實的架構約束,不是腳註。SATA SSD 的循序讀吞吐大約是像樣 NVMe 的十分之一,而這裡的存取模式也不是完全循序的。
所以誠實的想法是把 colibri 看成一個帶命令列的記憶體分層系統。你在拿吞吐換容量。429 GB 的模型塞不進 32 GB 記憶體。它塞得進一顆 1 TB 硬碟。這筆交易值不值,完全取決於你是更需要模型的能力,還是更需要它的速度。
還有一個二階效應,對做代理的人要緊。代理是突發型的。閒幾分鐘,然後打二十個工具呼叫。一個每次回應二十秒的本地模型在那個迴圈裡沒法用。每次兩分鐘的也沒法用。所以誠實的用例是批次處理:把這個資料夾總結一下,把這四百份文件分類,寫這十二條產品描述。你走開讓它跑的那種活。
我會先測的那部分
在你投入磁碟空間之前,三件事值得查。
冷啟動對比熱啟動。 README 裡那個 32 秒是 GLM-5.2、頁面快取熱著的情況,大概是。開機後第一次跑會更慢,機械硬碟上會慢得多。自己計時。
你的模型到底支不支援。 十三個引擎按手寫 C 的標準算多,但那是開放權重生態裡很小的一片。README 提到同架構的 checkpoint 不用改就能跑,這是一個有用的逃生口,也是一個提醒:「同架構」這四個字在那句話裡默默承擔了很多。
你載入的那個東西的授權。 colibri 本身不改變它跑的權重的條款。Qwen-Image-2.1 是僅限研究。有些語言模型是 MIT。有些不是。引擎是中立的;模型不是。
為什麼這不只是一個倉庫的事
兩年來關於本地 AI 的故事都是量化:把模型做小到塞得進去。每個權重兩位元,4 GB 視訊記憶體,一台手機。那條路是真的,也確實做出了有用的東西。
colibri 指的是另一根軸。不是把模型變小,是把記憶體階層做深。記憶體比視訊記憶體便宜。磁碟比記憶體便宜。「一個存在的模型」和「一個我能跑的模型」之間的差距,不必只靠壓縮來填;也可以靠接受一個更慢的階層來填。
這不算新想法。資料庫這麼幹了四十年,作業系統更久。新的是有人把它做成了批次檔,跑一個 744B 模型,把慢的基準和快的一起發出來,盒子裡還塞了個影像模型。
這個倉庫不會替代你的 API 訂閱。它可能替代的是那個假設:700B 模型只能租。而它在八個 CPU 核心上兩分四十秒畫出來的圖,提醒得挺好:「本地」不是二選一,是你設的一個預算。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。