谷歌把代理的鷹架當成可最佳化的對象,外面還套了兩層循環

鷹架指的是模型外面那一圈讓它能動起來的東西:系統提示詞、工具定義、記憶、技能、子代理、編排邏輯。調這套東西就是 harnessing,多數團隊挑個週末手工調一遍,調得不算好,然後就不動了。
Harness Squared 是谷歌研究放在 GitHub 上的專案,23,849 顆星。它把這件事做成循環,再在循環上面加一層。
論文編號 arXiv:2610.14224,Apache 2.0 授權,儲存庫裡寫得很直白:這不是谷歌官方支援的產品。作者包括 Ruiyao Xu、Yanfei Chen 和 Tomas Pfister。他們做的是一個框架,用來在開放世界裡做所謂的遞迴代理鷹架最佳化,也就是讓代理去面對鷹架設計階段根本沒見過的任務。
兩層遞迴,權重凍住
模型自始至終不變。所有進步都發生在鷹架裡。

任務級遞迴針對眼前這個任務改鷹架。機制是一個對照循環,作者叫它 Propose、Probe、Compose:編輯者提出改動方案,執行者帶著改動在同一個任務上跑候選版本,合成者根據幾次執行之間的行為差異拼出一版更細的鷹架。
關鍵在於這一步不需要標準答案。兩版鷹架跑同一個任務,行為不一樣,差異本身就是訊號。你不用知道哪個答案對,只要知道改了鷹架之後哪裡變了。
鷹架級遞迴在它上面一層。每個任務結束後,經驗反思器把被採用的鷹架連同證據支持的經驗寫進一個持久化的改進鷹架,下一個任務從一個更好的起點開始。
八個可以改的地方
框架在模型周圍暴露了八個元件,按執行時幹的事分組。
系統提示詞、護欄、記憶、技能負責搭上下文。工具指引和腳本定義工具介面。子代理接手委派出去的工作。外掛管中介軟體。
這份清單做過代理的人都眼熟。少見的是把八個全當成搜尋空間。多數人開工時定一次,之後就不再碰。
數字說了什麼
在三個專業 benchmark、四種模型與鷹架配置上,Harness Squared 走一步就把 GLM-5 和 Gemini 3.5 Flash 抬到了各自基準鷹架之上。
漲幅是:WorkBuddy-Bench 最多 11.5 分,JobBench 4.5 分,LAB 的部分通過率 11.8 個百分點。把任務級遞迴的預算加大,還能繼續漲,這個結果最重要。它說明機制會隨算力擴展,跑一輪不會飽和。
這幾個 benchmark 該點名,因為它們解釋了鷹架為什麼在這裡重要。JobBench 考職業工作,LAB 考法律工作,WorkBuddy-Bench 分成辦公、網頁、程式碼三個子集。這些任務裡,強模型配平庸鷹架會輸給弱模型配好鷹架,而這正是鷹架最佳化要利用的條件。
實際怎麼跑
安裝假設你用 Linux、Python 3.12,還要有 uv。
uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2
這個 demo 跑兩種遞迴模式,編輯器是確定性的,真的跑 Python,不需要任何模型憑證。想在花錢之前看一眼循環長什麼樣,這是最快的辦法。
帶模型的 benchmark 要求更多:Node.js 20 以上、Google Cloud CLI,還有各 benchmark 自己的相依套件。LAB 要 Pandoc 和 Poppler,WorkBuddy-Bench 要 Docker。然後複製範例環境檔案,指向一個 Vertex AI 專案和模型 ID,用 application default credentials 認證。
跑一個 benchmark 分四件事:把 benchmark 裝好,檢查,執行,評判並出報告。
harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel
評判和報告這兩步必須跟精調那次用同一個 benchmark、執行器、子集、遞迴預算、模式和隨機種子,否則數字對不上。`--dry-run` 只預覽任務選擇,不呼叫模型。
遞迴模式有兩種。parallel 探 k 個通用候選和 k 個領域候選,再從共享證據裡產出 k 個合成版本。sequential 帶著精調後的鷹架和累積證據連走 k 步。儲存庫自己的總結是:parallel 探得更寬,sequential 修得更深。
那段該讀兩遍的警告
README 裡有一節講網路存取,讀起來像隨手補的,分量其實不輕。執行器的網路存取不受限制,Codex 跑起來沙箱是關的。公開 benchmark 的評分標準可能在網上就能拿到。
換句話說,正在被評測的代理可以自己去找答案。作者說評測前要配好網路限制,擋住對 benchmark 答案和評分標準的存取。這個承認很坦率,而這類事正在悄悄抬高各處的代理 benchmark 成績。
這個框架的意義在哪
2026 年做代理的路子基本分兩派:把模型做大,或者把手工搭的鷹架做複雜。這篇論文主張鷹架本身就該是最佳化對象,而且這個循環不需要標籤。
元件清單裡藏著一個更安靜的觀點。八個部分既然能分別改,那歸功於提示詞的提升可能其實來自記憶,怪到模型頭上的退化可能來自三個版本前加的某條護欄。這個粒度上的鷹架最佳化會留下手工調參從來沒有的稽核線索。
對在生產裡跑代理的人是實際影響:想在自己的任務上改鷹架,不需要標註資料集。你只需要兩個版本,和一種比較它們行為的辦法。
限制也一樣實際。漲幅是在有公開評分標準的專業 benchmark 上量的,針對評分標準調出來的鷹架,就是針對那份標準調的。換個沒人寫過評分器的任務分布還成不成,這是開放問題,論文也沒說成。
還有一條限制寫在程式碼裡,不在正文裡。框架支援兩個執行器,預設 OpenCode,加個 flag 用 Codex,兩者行為並不一樣。針對一個調好的鷹架,就是為那一個調好的,所以跨實驗室比結果的人得先看清數字是哪個執行器跑出來的。
結果落在 `runs/` 下面,按 benchmark 和子集分目錄,裡面有被採用的鷹架和反思筆記。讀那個,別只讀分數。系統最後選擇留下的那版鷹架才是有意思的東西。
相關文章
ByteDance 的 SeedRealtime 每秒只取兩張影格,再自己決定什麼時候開口
豆包 Seed-Realtime-1.0 把攝影機畫面、螢幕畫面和語音合成一個全雙工工作階段,每秒最多推兩張影格。有意思的決定是影格率、主動說話,以及預設就開著的審核回覆。
一台 server、一個 AI 主播:夜間直播背後的程式碼
open-yoki 是一個每晚在 Binance Square 直播的 AI 主播的生產程式碼,人格、聲音和跟錢有關的功能都拿掉了。headless Chrome 畫幀,ffmpeg 推 RTMP,一個 Markdown 資料夾決定她的情緒和要發的東西。
Pinky 讓 agent 開你的手機,並且一直按著傳送鍵,直到你按下允許
Pinky 把任何 MCP agent 接到真的 iPhone 或 Android 手機上,審批在自己的閘道裡執行,不寫成 prompt。銀行類 App 對 agent 不可見,密碼欄位碰不到,在 Android 13 上 agent 還能拿到一塊隱藏的第二螢幕。
有人把全世界的法律放進了 git,於是你可以 blame 一條法條
global-law 把每個國家的法令存成一個 git 儲存庫,每次 commit 就是一部在某個已知日期生效的法律。你可以對一條法規跑 log、blame、show 和 diff,查某一天各國在施行什麼法,並透過 MCP 把整份語料交給助理。