← 返回博客
Ai预计阅读 8 分钟

谷歌把代理的脚手架当成可优化的对象,还在外面套了两层循环

发布于 2026年11月14日
谷歌把代理的脚手架当成可优化的对象,还在外面套了两层循环

脚手架指的是模型外面那一圈让它能动起来的东西:系统提示词、工具定义、记忆、技能、子代理、编排逻辑。调这套东西就是 harnessing,多数团队挑个周末手工调一遍,调得不算好,然后就不动了。

Harness Squared 是谷歌研究放在 GitHub 上的项目,23,849 颗星。它把这件事做成循环,再在循环上面加一层。

论文编号 arXiv:2610.14224,Apache 2.0 许可,仓库里写得很直白:这不是谷歌官方支持的产品。作者包括 Ruiyao Xu、Yanfei Chen 和 Tomas Pfister。他们做的是一个框架,用来在开放世界里做所谓的递归代理脚手架优化,也就是让代理去面对脚手架设计阶段根本没见过的任务。

两层递归,权重冻住

模型自始至终不变。所有进步都发生在脚手架里。

三只极细的黄铜环在黑色哑光面上互相穿过,旁边散落着车床削下来的黄铜屑。

任务级递归针对眼前这个任务改脚手架。机制是一个对照循环,作者叫它 Propose、Probe、Compose:编辑者提出改动方案,执行者带着改动在同一任务上跑候选版本,合成者根据几次运行之间的行为差异拼出一版更细的脚手架。

关键在于这一步不需要标准答案。两版脚手架跑同一个任务,行为不一样,差异本身就是信号。你不用知道哪个答案对,只要知道改了脚手架之后哪里变了。

脚手架级递归在它上面一层。每个任务结束后,经验反思器把被采用的脚手架连同证据支持的经验写进一个持久化的改进脚手架,下一个任务从一个更好的起点开始。

八个可以改的地方

框架在模型周围暴露了八个组件,按运行时干的事分组。

系统提示词、护栏、记忆、技能负责搭上下文。工具指引和脚本定义工具接口。子代理接手委派出去的工作。插件管中间件。

这份清单做过代理的人都眼熟。少见的是把八个全当成搜索空间。多数人开工时定一次,之后就不再碰。

数字说了什么

在三个专业 benchmark、四种模型与脚手架配置上,Harness Squared 走一步就把 GLM-5 和 Gemini 3.5 Flash 抬到了各自基线脚手架之上。

涨幅是:WorkBuddy-Bench 最多 11.5 分,JobBench 4.5 分,LAB 的部分通过率 11.8 个百分点。把任务级递归的预算加大,还能继续涨,这个结果最重要。它说明机制会随算力扩展,跑一轮不会饱和。

这几个 benchmark 该点名,因为它们解释了脚手架为什么在这里重要。JobBench 考职业工作,LAB 考法律工作,WorkBuddy-Bench 分成办公、网页、代码三个子集。这些任务里,强模型配平庸脚手架会输给弱模型配好脚手架,而这正是脚手架优化要利用的条件。

实际怎么跑

安装假设你用 Linux、Python 3.12,还要有 uv。

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

这个 demo 跑两种递归模式,编辑器是确定性的,真跑 Python,不需要任何模型凭证。想在花钱之前看一眼循环长什么样,这是最快的办法。

带模型的 benchmark 要求更多:Node.js 20 以上、Google Cloud CLI,还有各 benchmark 自己的依赖。LAB 要 Pandoc 和 Poppler,WorkBuddy-Bench 要 Docker。然后复制示例环境文件,指向一个 Vertex AI 项目和模型 ID,用 application default credentials 认证。

跑一个 benchmark 分四件事:把 benchmark 装好,检查,运行,评判并出报告。

harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel

评判和报告这两步必须跟精调那次用同一个 benchmark、执行器、子集、递归预算、模式和随机种子,否则数字对不上。`--dry-run` 只预览任务选择,不调用模型。

递归模式有两种。parallel 探 k 个通用候选和 k 个领域候选,再从共享证据里产出 k 个合成版本。sequential 带着精调后的脚手架和累积证据连走 k 步。仓库自己的总结是:parallel 探得更宽,sequential 修得更深。

那段该读两遍的警告

README 里有一节讲网络访问,读起来像随手补的,分量其实不轻。执行器的网络访问不受限制,Codex 跑起来沙箱是关的。公开 benchmark 的评分标准可能在网上就能拿到。

换句话说,正在被评测的代理可以自己去找答案。作者说评测前要配好网络限制,挡住对 benchmark 答案和评分标准的访问。这个承认很坦率,而这类事正在悄悄抬高各处的代理 benchmark 成绩。

这个框架的意义在哪

2026 年做代理的路子基本分两派:把模型做大,或者把手工搭的脚手架做复杂。这篇论文主张脚手架本身就该是优化对象,而且这个循环不需要标签。

组件清单里藏着一个更安静的观点。八个部分既然能分别改,那归功于提示词的提升可能其实来自记忆,怪到模型头上的退化可能来自三个版本前加的某条护栏。这个粒度上的脚手架优化会留下手工调参从来没有的审计线索。

对在生产里跑代理的人,实际影响在这里:想在自己的任务上改脚手架,不需要标注数据集。你只需要两个版本,和一种比较它们行为的办法。

局限也一样实际。涨幅是在有公开评分标准的专业 benchmark 上量的,针对评分标准调出来的脚手架,就是针对那份标准调的。换个没人写过评分器的任务分布还成不成,这是开放问题,论文也没说成。

还有一条约束写在代码里,不在正文里。框架支持两个执行器,默认 OpenCode,加个 flag 用 Codex,两者行为并不一致。针对一个调好的脚手架,就是为那一个调好的,所以跨实验室比结果的人得先看清数字是哪个执行器跑出来的。

结果落在 `runs/` 下面,按 benchmark 和子集分目录,里面有被采用的脚手架和反思笔记。读那个,别只读分数。系统最后选择留下的那版脚手架才是有意思的东西。

相关文章