不动模型,也能把智能体调好

按现在的说法,harness 指的是模型周围所有让它能行动的东西:系统提示、工具、记忆、技能、编排。两年来提升智能体的方式就是提升模型。Harness² 问的是另一个问题:如果权重不动,只按任务自动重写脚手架呢?
Google Research 十月发了论文(arXiv 2610.14224),代码以 Apache-2.0 开源。仓库约 22,000 星。主张具体到可以拿来争:一步递归就能让 GLM-5 和 Gemini 3.5 Flash 超过各自的基础 harness,在 WorkBuddy-Bench 上最高涨 11.5 分,JobBench 上 4.5 分,LAB 的部分通过率涨 11.8 个百分点。
没有微调。没有新模型。权重全程冻结。
它被允许改的八样东西
框架只暴露八个可编辑组件,而这份清单是作者对「harness 是什么」最清楚的表述:
系统提示、护栏、记忆、工具说明、子智能体、技能、脚本、插件。
其中四个构造上下文。两个定义工具接口。一个编排委派出去的工作。一个控制中间件。如果你做过智能体,并且觉得一半精力花在这八样上、一点没花在模型上,这个仓库就是把你的工作形式化了。
这八项清单同时是一条边界。Harness² 不能换模型,不能重训,不能碰权重。它做的一切都是文本:重写指令、加一个技能或删一个、改子智能体的描述、换调哪个脚本。

没有标注,它怎么变好
这一段我花了一会儿才接受,因为它听起来不该成立。
任务级循环叫 Propose–Probe–Compose,描述为对比式。harness 编辑器提出两类改动:不变式改动和领域改动。候选 harness 在同一个任务上执行。然后一个 composer 看几次运行之间的行为差异,据此拼出一个精修过的 harness。
注意缺了什么:真值反馈。没有奖励模型,没有人工标注,没有「这个答案对」的信号。系统在比较自己的运行,问哪些行为不同,然后保留产生了它想要的行为的那个 harness。
这能成立,是因为大多数智能体失败不用标注就看得见。它用畸形参数调了一个工具。它在同一个文件上转了三圈。它写了摘要但从来没打开文档。你不需要知道正确答案,也能看出轨迹坏了。对比比较足够把它们捞出来,而一个不再产生坏轨迹的 harness,在评测指标上自然得分更高。
第二个循环才让它成为系统而不是花招。一个常驻的改进 harness 累积每次任务采纳的 harness 和有证据支撑的教训,用来指导下一轮精修。换句话说,它越来越会「变得更会」,而变好的东西不是模型。
benchmark 结果,以及怎么读
三个 benchmark:JobBench 对应专业工作,LAB 对应法律工作,WorkBuddy-Bench 对应办公、网页和代码。四组模型–harness 配置。一步递归。
那些涨幅——11.5 分、4.5 分、11.8 个百分点——对一个只改文本的方法来说很大。有两件事让它们比通常的智能体 benchmark 主张更可信。
第一,基线是真的 harness,不是裸模型。对比对象是 OpenCode 和 Codex,都是有水平的脚手架。在办公任务 benchmark 上比一个有水平的脚手架高 11 分,跟打赢一次 chat completions 调用不是一回事。
第二,论文报告增加任务级递归预算还能继续涨。只在 k=1 有效的方法,通常是一个走运的 prompt 技巧。随预算扩展的方法在做搜索,而搜索一般是实打实的。
要我相信那些绝对数字,我还想知道:同样的涨幅有多少能在同领域的另一个 benchmark 上活下来,有多少是 harness 找到了这个 benchmark 的评分规则。这不是对作者的批评。这是 2026 年每个智能体 benchmark 都带着的问题。
评测诚信的警告就写在 README 里
在「Web access」一节下面,README 说了值得原文引用而不是转述的话:执行器网络访问不受限,Codex 在关闭沙箱的状态下运行,公开 benchmark 的评分规则可能在网上能查到。评测之前,配置网络限制,阻止访问 benchmark 答案和评分标准。
这是一个诚实得令人佩服的警告,也是一份关于整个领域的自认。如果你的智能体有不受限的网络,而你的 benchmark 有公开评分规则,那么你测出来的提升里有一部分,是智能体找到了答案。
这在这里比通常更要紧,因为 harness 优化本身就是「找出任何能让分数上升的东西」的过程。给这个过程一条网线和一份公开评分规则,你造出来的就是一个非常高效的找规则器。
这对做智能体的人意味着什么
如果方法站得住,三个实际变化。
harness 变成你能版本化的产物。 现在,一个智能体的行为散在一个 prompt 文件、一个工具列表和几个技能里,谁改了 prompt 它就变了。Harness² 每个任务产出一个被采纳的 harness,存在 runs/ 下,带反思笔记。这比对着 4,000 token 的系统提示看 diff 好得多的评审单位。
按任务特化变便宜了。 整个前提是 harness 应该为眼前的任务调,而不是作为一个全局配置发出去。如果一步递归负担得起——跟微调比,它负担得起——那「我们有一个法律 harness 和一个办公 harness」就不再是架构决定,而是运行时决定。
模型的职责描述变窄了。 如果 11 分能从脚手架里来,那在智能体 benchmark 上人们所说的「模型能力」有相当一部分其实是 harness 质量,而榜单在测错的对象。这个结论对产品是基座模型的人不舒服,对产品是工作流的人是一种解放。
诚实的限度
Harness² 是对着一个 benchmark 做优化。它不知道你想要什么。如果你的 benchmark 对你的用户是个差的代理指标——它总是差一点——那递归会自信地优化这个代理指标,你得到的智能体更会考试,不是更会干活。
这不是论文的缺陷。这是整个领域现在的形状:我们非常擅长测量智能体,而在说清我们到底要它做什么这件事上没进步多少。这次发布有意思的地方是,它让第二个问题无法被忽略。一旦 harness 成了可以搜索的变量,「harness 应该优化什么」就不再是哲学问题,而是唯一剩下的问题。
相关文章
744B 模型住进 9.9 GB 内存,专家从硬盘上读
colibri 把 744B 混合专家模型里常用的那部分留在内存,专家从磁盘流式读。README 把慢的基准和快的一起发,所以值得读。
编辑榜排第二,调用榜前五十都没进
微软发了一个根本不能生成图像的模型。它在编辑榜第二,在请求量前五十里找不到。这个落差说明图像榜单到底在量什么。
35 万个假受害者,和机构撒谎的伦理问题
Apate.ai 跑着 35 万个 AI 人格,工作是让骗子骗,再把骗出来的情报卖给银行和运营商。浪费时间这一步成立,没有人算过账的是那个先例。
GeForce 只有一半 Tensor Core 在跑,有人写了补丁
一个 GPL 项目声称 GeForce 的 FP16 与 TF32 张量吞吐被封在一半,并在驱动加载前把这个限制摘掉。RTX 30 能用,RTX 50 不能,真正的问题在文档。