← 返回博客
Ai预计阅读 8 分钟

不动模型,也能把智能体调好

发布于 2026年11月11日
不动模型,也能把智能体调好

按现在的说法,harness 指的是模型周围所有让它能行动的东西:系统提示、工具、记忆、技能、编排。两年来提升智能体的方式就是提升模型。Harness² 问的是另一个问题:如果权重不动,只按任务自动重写脚手架呢?

Google Research 十月发了论文(arXiv 2610.14224),代码以 Apache-2.0 开源。仓库约 22,000 星。主张具体到可以拿来争:一步递归就能让 GLM-5 和 Gemini 3.5 Flash 超过各自的基础 harness,在 WorkBuddy-Bench 上最高涨 11.5 分,JobBench 上 4.5 分,LAB 的部分通过率涨 11.8 个百分点。

没有微调。没有新模型。权重全程冻结。

它被允许改的八样东西

框架只暴露八个可编辑组件,而这份清单是作者对「harness 是什么」最清楚的表述:

系统提示、护栏、记忆、工具说明、子智能体、技能、脚本、插件。

其中四个构造上下文。两个定义工具接口。一个编排委派出去的工作。一个控制中间件。如果你做过智能体,并且觉得一半精力花在这八样上、一点没花在模型上,这个仓库就是把你的工作形式化了。

这八项清单同时是一条边界。Harness² 不能换模型,不能重训,不能碰权重。它做的一切都是文本:重写指令、加一个技能或删一个、改子智能体的描述、换调哪个脚本。

一面挂着带标签工具轮廓的工坊墙,多数位置空着,少数放着工具,下方夹着一叠清单

没有标注,它怎么变好

这一段我花了一会儿才接受,因为它听起来不该成立。

任务级循环叫 Propose–Probe–Compose,描述为对比式。harness 编辑器提出两类改动:不变式改动和领域改动。候选 harness 在同一个任务上执行。然后一个 composer 看几次运行之间的行为差异,据此拼出一个精修过的 harness。

注意缺了什么:真值反馈。没有奖励模型,没有人工标注,没有「这个答案对」的信号。系统在比较自己的运行,问哪些行为不同,然后保留产生了它想要的行为的那个 harness。

这能成立,是因为大多数智能体失败不用标注就看得见。它用畸形参数调了一个工具。它在同一个文件上转了三圈。它写了摘要但从来没打开文档。你不需要知道正确答案,也能看出轨迹坏了。对比比较足够把它们捞出来,而一个不再产生坏轨迹的 harness,在评测指标上自然得分更高。

第二个循环才让它成为系统而不是花招。一个常驻的改进 harness 累积每次任务采纳的 harness 和有证据支撑的教训,用来指导下一轮精修。换句话说,它越来越会「变得更会」,而变好的东西不是模型。

benchmark 结果,以及怎么读

三个 benchmark:JobBench 对应专业工作,LAB 对应法律工作,WorkBuddy-Bench 对应办公、网页和代码。四组模型–harness 配置。一步递归。

那些涨幅——11.5 分、4.5 分、11.8 个百分点——对一个只改文本的方法来说很大。有两件事让它们比通常的智能体 benchmark 主张更可信。

第一,基线是真的 harness,不是裸模型。对比对象是 OpenCode 和 Codex,都是有水平的脚手架。在办公任务 benchmark 上比一个有水平的脚手架高 11 分,跟打赢一次 chat completions 调用不是一回事。

第二,论文报告增加任务级递归预算还能继续涨。只在 k=1 有效的方法,通常是一个走运的 prompt 技巧。随预算扩展的方法在做搜索,而搜索一般是实打实的。

要我相信那些绝对数字,我还想知道:同样的涨幅有多少能在同领域的另一个 benchmark 上活下来,有多少是 harness 找到了这个 benchmark 的评分规则。这不是对作者的批评。这是 2026 年每个智能体 benchmark 都带着的问题。

评测诚信的警告就写在 README 里

在「Web access」一节下面,README 说了值得原文引用而不是转述的话:执行器网络访问不受限,Codex 在关闭沙箱的状态下运行,公开 benchmark 的评分规则可能在网上能查到。评测之前,配置网络限制,阻止访问 benchmark 答案和评分标准。

这是一个诚实得令人佩服的警告,也是一份关于整个领域的自认。如果你的智能体有不受限的网络,而你的 benchmark 有公开评分规则,那么你测出来的提升里有一部分,是智能体找到了答案。

这在这里比通常更要紧,因为 harness 优化本身就是「找出任何能让分数上升的东西」的过程。给这个过程一条网线和一份公开评分规则,你造出来的就是一个非常高效的找规则器。

这对做智能体的人意味着什么

如果方法站得住,三个实际变化。

harness 变成你能版本化的产物。 现在,一个智能体的行为散在一个 prompt 文件、一个工具列表和几个技能里,谁改了 prompt 它就变了。Harness² 每个任务产出一个被采纳的 harness,存在 runs/ 下,带反思笔记。这比对着 4,000 token 的系统提示看 diff 好得多的评审单位。

按任务特化变便宜了。 整个前提是 harness 应该为眼前的任务调,而不是作为一个全局配置发出去。如果一步递归负担得起——跟微调比,它负担得起——那「我们有一个法律 harness 和一个办公 harness」就不再是架构决定,而是运行时决定。

模型的职责描述变窄了。 如果 11 分能从脚手架里来,那在智能体 benchmark 上人们所说的「模型能力」有相当一部分其实是 harness 质量,而榜单在测错的对象。这个结论对产品是基座模型的人不舒服,对产品是工作流的人是一种解放。

诚实的限度

Harness² 是对着一个 benchmark 做优化。它不知道你想要什么。如果你的 benchmark 对你的用户是个差的代理指标——它总是差一点——那递归会自信地优化这个代理指标,你得到的智能体更会考试,不是更会干活。

这不是论文的缺陷。这是整个领域现在的形状:我们非常擅长测量智能体,而在说清我们到底要它做什么这件事上没进步多少。这次发布有意思的地方是,它让第二个问题无法被忽略。一旦 harness 成了可以搜索的变量,「harness 应该优化什么」就不再是哲学问题,而是唯一剩下的问题。

相关文章