不動模型,也能把代理調好

按現在的說法,harness 指的是模型周圍所有讓它能行動的東西:系統提示、工具、記憶、技能、編排。兩年來提升代理的方式就是提升模型。Harness² 問的是另一個問題:如果權重不動,只按任務自動重寫鷹架呢?
Google Research 十月發了論文(arXiv 2610.14224),程式碼以 Apache-2.0 開源。倉庫約 22,000 星。主張具體到可以拿來爭:一步遞迴就能讓 GLM-5 和 Gemini 3.5 Flash 超過各自的基礎 harness,在 WorkBuddy-Bench 上最高漲 11.5 分,JobBench 上 4.5 分,LAB 的部分通過率漲 11.8 個百分點。
沒有微調。沒有新模型。權重全程凍結。
它被允許改的八樣東西
框架只暴露八個可編輯元件,而這份清單是作者對「harness 是什麼」最清楚的表述:
系統提示、護欄、記憶、工具說明、子代理、技能、腳本、外掛。
其中四個構造上下文。兩個定義工具介面。一個編排委派出去的工作。一個控制中介軟體。如果你做過代理,並且覺得一半精力花在這八樣上、一點沒花在模型上,這個倉庫就是把你的工作形式化了。
這八項清單同時是一條邊界。Harness² 不能換模型,不能重訓,不能碰權重。它做的一切都是文字:重寫指令、加一個技能或刪一個、改子代理的描述、換呼叫哪個腳本。

沒有標註,它怎麼變好
這一段我花了一會兒才接受,因為它聽起來不該成立。
任務級迴圈叫 Propose–Probe–Compose,描述為對比式。harness 編輯器提出兩類改動:不變式改動和領域改動。候選 harness 在同一個任務上執行。然後一個 composer 看幾次執行之間的行為差異,據此拼出一個精修過的 harness。
注意缺了什麼:真值回饋。沒有獎勵模型,沒有人工標註,沒有「這個答案對」的訊號。系統在比較自己的執行,問哪些行為不同,然後保留產生了它想要的行為的那個 harness。
這能成立,是因為大多數代理失敗不用標註就看得見。它用畸形參數呼叫了一個工具。它在同一個檔案上轉了三圈。它寫了摘要但從來沒打開文件。你不需要知道正確答案,也能看出軌跡壞了。對比比較足夠把它們撈出來,而一個不再產生壞軌跡的 harness,在評測指標上自然得分更高。
第二個迴圈才讓它成為系統而不是花招。一個常駐的改進 harness 累積每次任務採用的 harness 和有證據支撐的教訓,用來指導下一輪精修。換句話說,它越來越會「變得更會」,而變好的東西不是模型。
benchmark 結果,以及怎麼讀
三個 benchmark:JobBench 對應專業工作,LAB 對應法律工作,WorkBuddy-Bench 對應辦公、網頁和程式碼。四組模型–harness 設定。一步遞迴。
那些漲幅——11.5 分、4.5 分、11.8 個百分點——對一個只改文字的方法來說很大。有兩件事讓它們比通常的代理 benchmark 主張更可信。
第一,基準線是真的 harness,不是裸模型。對比對象是 OpenCode 和 Codex,都是有水準的鷹架。在辦公任務 benchmark 上比一個有水準的鷹架高 11 分,跟打贏一次 chat completions 呼叫不是一回事。
第二,論文報告增加任務級遞迴預算還能繼續漲。只在 k=1 有效的方法,通常是一個走運的 prompt 技巧。隨預算擴展的方法在做搜尋,而搜尋一般是實打實的。
要我相信那些絕對數字,我還想知道:同樣的漲幅有多少能在同領域的另一個 benchmark 上活下來,有多少是 harness 找到了這個 benchmark 的評分規則。這不是對作者的批評。這是 2026 年每個代理 benchmark 都帶著的問題。
評測誠信的警告就寫在 README 裡
在「Web access」一節下面,README 說了值得原文引用而不是轉述的話:執行器網路存取不受限,Codex 在關閉沙箱的狀態下執行,公開 benchmark 的評分規則可能在網路上查得到。評測之前,設定網路限制,阻止存取 benchmark 答案和評分標準。
這是一個誠實得令人佩服的警告,也是一份關於整個領域的自認。如果你的代理有不受限的網路,而你的 benchmark 有公開評分規則,那麼你測出來的提升裡有一部分,是代理找到了答案。
這在這裡比通常更要緊,因為 harness 最佳化本身就是「找出任何能讓分數上升的東西」的過程。給這個過程一條網路線和一份公開評分規則,你造出來的就是一個非常高效的找規則器。
這對做代理的人意味著什麼
如果方法站得住,三個實際變化。
harness 變成你能版本化的產物。 現在,一個代理的行為散在一個 prompt 檔案、一個工具列表和幾個技能裡,誰改了 prompt 它就變了。Harness² 每個任務產出一個被採用的 harness,存在 runs/ 下,帶反思筆記。這比對著 4,000 token 的系統提示看 diff 好得多的審查單位。
按任務特化變便宜了。 整個前提是 harness 應該為眼前的任務調,而不是作為一個全域設定發出去。如果一步遞迴負擔得起——跟微調比,它負擔得起——那「我們有一個法律 harness 和一個辦公 harness」就不再是架構決定,而是執行時決定。
模型的職責描述變窄了。 如果 11 分能從鷹架裡來,那在代理 benchmark 上人們所說的「模型能力」有相當一部分其實是 harness 品質,而榜在測錯的對象。這個結論對產品是基座模型的人不舒服,對產品是工作流的人是一種解放。
誠實的限度
Harness² 是對著一個 benchmark 做最佳化。它不知道你想要什麼。如果你的 benchmark 對你的使用者是個差的代理指標——它總是差一點——那遞迴會自信地最佳化這個代理指標,你得到的代理更會考試,不是更會幹活。
這不是論文的缺陷。這是整個領域現在的形狀:我們非常擅長測量代理,而在說清我們到底要它做什麼這件事上沒進步多少。這次發布有意思的地方是,它讓第二個問題無法被忽略。一旦 harness 成了可以搜尋的變數,「harness 應該最佳化什麼」就不再是哲學問題,而是唯一剩下的問題。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。