把 27B 模型壓到每個權重兩個位元

把 27B 模型壓到每個權重兩個位元

10 月 9 日，Underdog AI 發布了 Saluki 27B，這是 Qwen 3.8 27B 模型的一個壓縮版本。壓縮相當激進：每個權重兩個位元，把整個模型塞進一個約 7.89 GB 的檔案裡。Underdog 表示，結果保留了原模型約 96% 的基準測試效能，而且在工具呼叫任務上，它實際上還超越了完整版模型。它採用 Apache 2.0 授權釋出，鎖定本地代理工作流程。

這些數字聽起來像是打錯了。把模型的位元深度砍到四分之一，通常要付出大量品質上的代價。Saluki 的說法是它沒有，而且在代理最看重的那項任務上，它還變得更強了。

為什麼兩位元量化這麼難

模型權重以數字形式儲存，而每個權重的位元數決定了它能保留多少精度。在 16 位元下，一個權重可以取上萬個值之一。在兩位元下，它只能取四個值之一。你是在要求一個建立在細微差異之上的網路，用一個幾乎空無一物的詞彙表來表達自己。

它通常失敗的原因是誤差會累積。把每個權重稍微捨入一下，這一層就偏了一點。堆疊幾十個偏一點的層，輸出就會遠遠偏離原版。大多數量化工作把四位元當作實際的下限，並接受更低位元下會有一些品質損失。

那些把位元推得更低的方法，並不是簡單地更粗暴地捨入。它們會判斷哪些權重可以忍受粗糙、哪些必須保持精細，而且通常會事後微調被壓縮的模型來修補損傷。讓兩個位元撐得住，是一個細緻、有針對性、而非一刀切的過程。

工具呼叫的結果才是有意思的部分

Saluki 在通用基準測試上與原版持平，這值得注意。它在工具呼叫上勝過原版就更奇怪了，而且這指向了某種真實的東西。工具呼叫是一項結構化任務：模型必須輸出正確的函式名稱和參數，一點小小的不一致就會讓整件事垮掉。一個稍微更嘈雜的模型可能產出稍微更多樣的輸出，在這種情境下，這可能意味著它在邊緣案例上更少出錯。

也有一個更簡單的解釋。如果壓縮過程包含了在工具使用資料上的微調，那麼得到的模型不只是更小，還在正確的方向上更專精了。專才在它的專長上可以擊敗通才，同時在其它方面落敗。誠實的解讀是，Saluki 是一個被壓縮、同時也被引導向代理工作的模型，這兩個變化合在一起解釋了結果。

智慧密度才是這裡真正重要的指標

Underdog 把這一改進稱為每 GB 智慧的提升，大約是原版的 7.5 倍。這種說法對本地代理情境來說恰好準確。當你在自己的機器上跑一個模型時，限制條件不是基準分數，而是模型能否裝進你的記憶體，並給周圍的應用程式留出空間。

一個 27B 模型按完整精度跑需要相當強的硬體。同一個模型在約 8 GB 時就能在筆電上執行，而筆電正是大量代理工作真正發生的地方：讀檔案、跑指令、查結果。壓縮的價值不是審美上的，而是你能在本地跑的有能力模型與你只能租用的有能力模型之間的差別。

為什麼本地代理模型都收斂到這個尺寸

Saluki 是幾款用來在大型系統內部做重複性工作的小型、開放授權模型之一。模式是一致的：參數量約 70 億到 300 億，經過激進壓縮，採用寬鬆授權，瞄準代理的緊湊迴圈。

每次的邏輯都一樣。一個代理每完成一個任務要呼叫它的模型很多次，所以每次呼叫的成本和延遲主導了體驗。一個小到可以在本地執行的模型，既去掉了網路往返，又去掉了按 token 計費，這改變了你能多大程度地放開來用這個代理。你不再計較自己助手的使用量。

還有第二個更安靜的理由。本地執行的模型不會把你的資料傳到任何地方，這對任何處理不允許上傳的程式碼或文件的人來說都很重要。對這類使用者而言，壓縮不是成本最佳化，而是取得一個有能力的模型的唯一途徑。

用一個數字說清小檔案的價值

把尺寸差異具體化會有幫助。一個 270 億參數的模型在 16 位元下，在加上任何執行階段額外開銷之前，大約佔 54 GB。這裝不進大多數筆電，也裝不進作業系統、瀏覽器和編輯器佔用之後剩下的記憶體。在兩位元下，同樣的參數量落在約 8 GB，這裝得下，而且能和代理本來該驅動的工具一起裝下。

這就是本地代理情境下做低位元壓縮的全部理由。它不關乎讓一個之前根本跑不了的模型能跑起來，雖然這也是其中一部分。它關乎讓一個模型跑得足夠從容，以至於代理能反覆呼叫它而機器毫無察覺，因為一個讓整個系統變卡的代理，是沒有人會一直開著它的。

在相信之前該檢查什麼

壓縮模型值得一種特定的懷疑。當模型在真實工作產生的冗長、雜亂的輸入上退化時，那個被拿來宣傳的基準成績可能依然成立。量化損傷往往最先出現在不尋常的格式、長上下文和罕見語言上，而這些都不是一個短基準能捕捉到的。

兩個位元描述的到底是什麼也很重要。每個權重的位元深度、群組大小，以及某些層是否保持在更高精度，都會改變這個數字的含義。一種方案裡的兩位元和另一種方案裡的兩位元並不一樣，而這種差別從模型卡上並不明顯。

這些加起來意味著什麼

前沿之爭關乎任何人能訓練出的最大模型。一個同樣重要、並行的爭論，則關乎在你的硬體上仍然好用到能派上用場的最小模型。Saluki 27B 屬於第二個爭論，它提出了一個具體的、可檢驗的主張：兩個位元對代理實際要做的工作來說足夠了。

如果這個主張在基準之外也站得住腳，它就降低了個人能在本地執行的門檻，而更低的門檻通常正是下一波產品誕生的地方。模型本身不是重點，模型的縮小才是。

值得注意的是，這還是一個年輕的領域。讓兩位元權重能運作的方法仍在被書寫，每一次發布既是產品，也同樣是一種壓縮技術的展示。Saluki 的有趣之處，與其說在於它今天是什麼，不如說在於它證明了如今能塞過一根窄管道的是什麼。這一系列的下一個模型會更小、更銳利，或者兩者兼具，而門檻還會再次下降。