一個位元就夠了：微軟 BitNet 為何持續贏得人心

一個本不該成立的數字

每一款大型語言模型，說到底都是數量極其龐大的乘法運算。數十億個參數，每個都是帶多位小數精度的十進位數，在推論時各自與一個對應的數值相乘。成本就藏在精度裡。降低精度，模型就更便宜、更快、更小。但降得過頭，模型就失靈了。

多年來的普遍看法是，這裡存在一個下限。你可以把權重壓縮到 8 位元，謹慎處理的話也許能到 4 位元。再往下，算術就開始崩潰，輸出會變成一堆亂碼。後來，一條研究路線把這個下限一路推到了單一一個位元，而結果有點出人意料：模型依然能正常運作。

微軟的 BitNet，一個針對單位元模型的官方推論框架，這個月又一次出現在 GitHub 每週趨勢榜上。眼下正是一個合適的時間點，去理解為什麼一個由單位元權重構成的模型並非噱頭，以及它究竟能帶來什麼。

單位元權重到底是什麼意思

這個名稱有點誤導，而精度這一點值得說清楚。一個完全意義上的單位元權重，就是一個二進位值。更成功的做法則使用三個值：負一、零、正一。這通常被稱為三值（ternary）方案或 1.58 位元方案，而「1.58」不過是資訊理論意義上，能夠在三個選項而非兩個選項中做選擇的代價。

這種限制聽起來很殘酷。它意味著網路裡的每一個權重都被迫落到三種狀態之一。讓它可行的原因在於，一個從訓練之初就帶著這項限制的神經網路，會學會在這套限制裡生存。真正重要的權重被推向兩端，不重要的則被推向零。模型損失不大，因為大多數權重本來也沒承載多少資訊。

回報在於，算術的性質發生了改變。傳統模型要為每一個參數做兩個多位數的乘法。而三值模型大部分時候只是在決定：加上一個值、減去它，還是乾脆跳過。在矽晶片上，加法在時間和能耗上都遠比乘法廉價，而不再需要寬乘法器，也就去掉了讓晶片昂貴的一大塊成本。

要達到這一步，需要改變模型的建構方式，而不只是儲存方式。你沒辦法拿一個全精度訓練好的成品模型，簡單地把每個權重四捨五入到負一、零或正一，準確率會垮掉。這項限制必須在訓練期間就存在，網路才會學會透過被允許保留的三個值來承載自己的能力。這也是為什麼這條路線成敗全繫於訓練配方，以及為什麼僅憑一個檢查點很難重現結果。

為什麼它能跑在 CPU 上

最引人注目的實際後果，是這些模型能在哪裡運行。因為算術如此輕量，單位元模型不需要資料中心加速器那套專用設備就能發揮作用。它們能跑在一般的 CPU 上，速度快到足以支撐真實應用，而不只是有趣的展示。

這比聽起來更重要。現代 AI 的主流敘事是一個關於 GPU 的故事：誰有 GPU、有多少、什麼價格。每一個不依賴 GPU 也能表現出色的模型，都在拓寬參與者的範圍。如果一個能力尚可的單位元模型能在筆電上運行，那麼使用一個有能力的本地語言模型的門檻，就不再是硬體，而是耐心。

能耗是這場論證的另一半。運行大模型的資料中心消耗電力的規模，在經濟和政治上都已經成了實實在在的限制。一個在同樣任務上只需要一小部分算力的模型，對這份預算來說絕不是小優化，它決定了某項工作負載在一個機房裡是否可行。

讓它保持清醒的那個代價

如果單位元模型在各方面都更好，所有人都會用它，這個框架也就不需要上趨勢榜了。現實更為複雜。三值模型並非全精度模型的即插即用替代品。訓練流程不同，工具鏈更年輕，微調和轉接器的生態也更小，因為在它上面建構的人還不多。

還有一個品質問題，可能被那些亮眼數字所掩蓋。在給定參數量下，單位元模型並不自動等同於同參數量的全精度模型。這條路線真正的意義在於，你可以在同樣的機器上負擔一個規模大得多的單位元模型，而這個更大的模型可以追平甚至超過一個更小的高精度模型。真正重要的比較，不是精度對精度，而是單位硬體上的能力，而在這一點上，這筆交易往往划算。

誠實的說法是，它是設計樹上一個不同的分支，而不是一片絕對更優的葉子。它用一點靈活性和大量的生態成熟度，換來計算成本的大幅下降。你想要這筆交易的哪一邊，完全取決於你的瓶頸是能力還是成本。

兩類模型的失敗方式也有細微差別。一個全精度模型被問到超出其能力的問題時，往往給出一個看似合理但錯誤的答案。一個規模更大、訓練良好的三值模型在這方面並不明顯更差，失敗的樣子是相似的。真正不同的是你所做交易的具体形狀。你接受一個更大、更笨拙但運行便宜的模型，換取一個更小、更順滑但運行昂貴的模型。兩者都不免費，假裝免費正是人們最終對結果失望的原因。

為什麼它的意義超越基準

單位元這條路線有趣的地方，不在於它在某項任務上取勝。而在於它質疑了一個整個領域一直在依賴的假設：有用性隨精度擴展，精度隨硬體擴展。如果精度崩塌的同時能力還能保住，那麼我們對誰能運行 AI、在哪裡運行的許多假設就開始鬆動。

這對本月別處討論過的那些模型類型也有影響。圖像和影片生成是消費端最吃算力的工作負載，而它們恰恰是三值技術最難應用的場景，因為它們的架構與這些框架為之而建的語言模型不同。但方向是清晰的。讓有能力的模型跑在可負擔的硬體上的壓力不會消失，而每一種緩解這種壓力的技術都會找到受眾。

長遠的博弈

BitNet 不會取代前沿模型。這條路線沒有任何跡象表明這一點，業界也沒有在等它做到那一步。它做的，是留住一扇門。它說明模型不一定要是奢侈品，能力和成本不是同一個座標軸，也說明讓一個語言模型變得有用的東西，有相當一部分在把每個權重壓縮到三個值之後依然能存活下來。

對大多數人來說，它的實際影響今天還看不見。但對於日益增多的、想在已有硬體上跑一個有能力模型的人，以及那些盯著電費單的營運者來說，這類工作會在不聲不響中改變什麼才是可能的。AI 領域最重要的研究，不總是那個登頂榜單的模型。有時，恰恰是讓榜單變得無關緊要的那一個。