GitHub 上最火的新招，就是少說話

GitHub 上最火的新招，就是少說話

本週 GitHub 上成長最快的倉庫是一個名為 caveman 的 Go 專案，星標數已超過 112,000，而它的整個立論就是一個恰好成立的玩笑。它的標語寫道：能用幾個詞說清，何必堆一堆詞。它是一個供程式代理使用的 skill 和代理，聲稱透過讓模型像原始人一樣說話，可以把 token 用量削減約 65%。

把這個梗拿掉，剩下的是一個真正的工程主張。程式代理來回傳送的內容，大部分並不是資訊，而是鷹架、客套、複述，以及語言模型預設會做的那些禮貌性鋪陳。如果你能在不丟掉含義的前提下把這些扔掉，工作階段就會變便宜，上下文視窗也能撐得更久。

這個玩笑同時也是診斷。當致勝之舉是讓助手聽起來更笨，瓶頸就不在智慧，而在額外開銷。

帳單是上下文，不是模型

要真正體會代理工作負載是怎麼變貴的，需要一點時間。直覺上的模型是：按答案付費，所以答案越長越貴。真實的模型是：你為模型必須關注的每一個上下文 token 付費，而這個上下文會隨著每一輪對話成長。

等代理讀完一個倉庫、跑了幾條指令、看了結果、寫了一些程式碼、讀了錯誤訊息之後，這段對話已經非常龐大了。每開始新的一輪，都要把整段歷史拖著走。第十步遠比第一步貴，不是因為模型變慢了，而是因為它背的東西更多了。

這就是為什麼一個能砍掉 65% token 的工具不是可有可無的最佳化。用在跑好幾個小時的代理上，它就是工作階段還在預算之內與工作階段跑到一半就得重啟之間的差別。

攻同一個問題的三種方式

搭上同一波浪潮的其他專案，從不同角度攻擊這個問題，把它們放在一起比較很有啟發。

Headroom 是一個 Python 專案，一週內漲了大約 13,000 星，達到約 39,000，它是一個上下文壓縮層，可以作為函式庫、代理或 MCP 伺服器執行。它提供六種壓縮演算法，並聲稱能減少 60% 到 95%。重要的設計選擇在於它本地優先且可逆，這一點很關鍵，因為破壞資訊的壓縮比不壓縮更糟。可以解壓縮意味著代理仍然能取回它埋掉的東西。

Xerj 針對的是一個具體且非常昂貴的習慣。它是一個 Rust 工具，用一條指令就能為程式碼、文件、日誌和 PDF 建立索引，這樣代理就可以查詢一個結構化索引，而不是把 token 燒在 grep 和 sed 探索上，也就是那種搜尋、讀取、再搜尋的迴圈，用大量上下文換來那麼幾行相關程式碼。該專案聲稱比 grep 少用大約 40 倍的 token，並且保持與 Elasticsearch 相容，所以現有的用戶端仍然能繼續用。

把三者並排放在一起，一個規律就浮現出來。Caveman 改變的是模型怎麼說話。Headroom 改變的是什麼被記住。Xerj 改變的是模型往哪看。省下的 token 是同一批 token，但撬動它的槓桿不同，而成熟的工具鏈最終三樣都需要。

原始人這招為什麼居然管用

按理說，原始人這套做法不該像人們說得那麼有效，但值得弄明白它為什麼確實有效。

經過指令微調的模型被訓練成以一種特定風格來提供幫助。它們會先複述你的問題再作答，會總結自己剛剛做了什麼，會用完整的句子解釋推理過程，會用一句友善的話收尾，還會給所有內容加上標題格式。這些都不是任務要求的，卻全都要按 token 計費。

如果你指示模型丟掉客套、只保留承重的詞，你得到的輸出看起來粗糙，傳達的意思卻幾乎一樣。資訊密度變高了，因為那些儀式性的東西沒了。這跟工程師簡短筆記的道理一樣：十個字可能比一份一百字的會議議程說得還多。

不過這個取捨是真實存在的。簡潔的輸出讓人更難快速掃讀，含糊的簡寫會造成誤解，代價比它省下的還大。把那些讓意圖變明確的詞刪掉，是在賭周圍上下文能承載足夠多的含義，而這個賭注恰恰會在任務不尋常時輸掉。壓縮在重複性工作上最有用，在微妙之處最有害，這是把它到處套用之前值得記住的一條規律。

注意力的供給與需求

這一類工具此刻爆發，有一個結構性的原因，而且它與任何一個具體倉庫無關。

上下文視窗變大了，但填滿它們的胃口也變大了。那些要讀整個倉庫、維持很長任務歷史、協調子代理的代理，會給多少空間就吃掉多少空間，因為消耗上下文正是它們完成任務的方式。每一次容量提升都會在幾週內被吸收殆盡，然後壓力又回來了。

這是一種熟悉的動態。把高速公路修得更寬，長期來看並不會減少車流，因為人們會以多開車來回應更便宜的通行。上下文也是一樣。更大的視窗並不會終結短缺，它只是重新定義了什麼叫合理使用量，而短缺會在更高層次上重新顯現。

這意味著壓縮不是權宜之計，而是技術堆疊中永久的一層；把它做對的專案，最終會處在類似資料庫和快取的位置：不起眼、不性感，而一旦人們依賴上它，就再也拿不掉。

真正該關注什麼

在這裡，星標數是糟糕的指引，因為一個好玩的名稱跑得比一個好演算法快。在採用其中任何一個之前，有三件事值得核實。

第一是可逆性。無法撤銷的有損壓縮會讓 bug 更難排查，因為代理可能正基於一份丟掉了關鍵細節的摘要進行推理。第二是適用範圍。一個不加區分地壓縮所有流量的代理，遲早會吃掉某個承重的東西，而這種故障看起來會像模型幻覺，而不是工具 bug。第三是測量。少了 65% token 是關於某一類工作階段的說法，唯一有意義的數字是在你自己的流量上測出來的那個。

更深的一點是，這個產業花兩年追逐能力，如今才發現在效率裡藏著下一輪實用性的勝利。答對的模型只是入場券。用十分之一的成本答對的管線才是一個產品。Caveman、Headroom 和 Xerj 都指向同一個事實：在代理的工作中，注意力才是稀缺資源，其他一切都是記帳。