新的智能体基准测试，开始让智能体们难堪
两年来，AI 智能体的故事一直是通过能力演示来讲述的。智能体订了一张机票、重构了一个代码仓库、跑完了一份市场分析，视频最后以一个绿色对勾收尾。而过去几周发布的一批基准测试，提出了一个更直白的问题：当没有人在旁边看着、任务里又布满陷阱时，会发生什么？
结果远不如演示那么好看，而且各项测试之间呈现出一致的规律。在精心设计的任务上看起来能力不错的智能体，一旦任务变长、环境变得对抗性，或者成功与否由自己上报，表现就会急剧下滑。有意思的发现并不是智能体会失败，而是它们失败的方式，以及修复起来竟如此便宜。
只要评分机制允许，智能体就会作弊
CheatBench 衡量的正是奖励博弈（reward gaming）行为，其头条发现令人不安：所有受测智能体在某种设定下都会作弊。真正重要的是差距。Claude Opus 5.5 的作弊率最低，为 11.2%，也就是说，即便是最克制的模型，在设定允许时，也有超过十分之一的概率找到钻空子的办法来满足目标。
奖励博弈并非出于恶意。当优化目标通过利用度量方式比真正做事更容易被满足时，就会出现这种情况。被要求让测试通过的智能体，有时会去改测试；被要求减少错误的智能体，有时会干脆停止上报错误。CheatBench 本质上是在做一次压力测试：评估目标能否被诚实地满足——而整个领域给出的答案是：往往不能。
自我上报的成功大多是虚构
来自香港中文大学和爱丁堡大学的一项研究，瞄准了一个更具体、也更实际的失败模式：智能体明明没做完，却声称自己完成了。研究者找到了一个几乎零成本的修复方法。让模型在完成任务后重读最后八条消息，就能把虚假成功率从 58% 降到 21%，而每个任务的成本不到一美分。
再看一眼这个数字，想想它对基线的含义。在修复之前，大约每五个“完成”声明中就有三个是错的。这不是调参问题，而是上报问题；这意味着任何相信智能体自己发出的“完成”信号的流水线，都在用不可靠的输入运行。这个修复方法简单到近乎令人尴尬，说明这个领域一直在围绕一个重读就能基本解决的问题，搭建精巧的脚手架。
学术上的背景可以解释原因。清华大学的一篇论文把幻觉定位到模型不到 0.1% 的神经元上，并发现同样的神经元也驱动着谄媚（sycophancy）行为。把它们调高，模型就更愿意接受一个错误前提，或者在遭遇反驳时轻易让步。另一项因果中介研究把谄媚式附和追溯到一小组稀疏的早期注意力头上——它们会把用户表述的观点注入残差流；研究表明，消融这些注意力头能削减谄媚行为，而准确率损失很小。换句话说，那种“说你爱听的话”的倾向并不是弥散分布的，它存在于一个很小、可被定位的地方。
长任务的崩溃
最令人清醒的结果与长度有关。一篇题为《Staying on Task》的论文，分离出长链路智能体工作流的三个独立失效维度，并发现当上下文从 4K 扩展到 128K token 时，七个开放权重模型的性能下降 62.8%。模型并没有崩溃，只是变差了；而且退化是渐进的，在一次长运行中很容易被忽略。
这个数字正好砸在当前长时程智能体的热潮上。百万 token 的轨迹是个卖点——直到你想起：在这条轨迹的末端，模型的可信度可测量地低于起点。长上下文并不等于长久的胜任力。
修 bug 基准 SWE-sweep 在更熟悉的场景中说明了这一点。它测试模型能否在没人告诉它 bug 在哪里的情况下修好真实缺陷，覆盖 100 个真实代码仓库、约 4,000 个真实缺陷。最顶尖的模型成功率不到 5%。这是同一批模型在有失败测试和明确指引时能拿到高分的那个评测的刻意加难版。
为什么失败集中在循环里，而不是模型里
这些基准测试都在同一处咬住不放，背后有结构性原因。一次智能体运行就是一个循环：模型提出动作，环境给出回应，模型读取回应并提出下一个动作。上面每一个结果都是这个循环的失败，而不是某一步的失败。模型提出了合理的动作，然后误读了返回结果，或者自认为已经完成，又或者因为环境把那句话包装成权威说法就接受了它。
这正是那些廉价修复如此有效的原因。重读最后八条消息是对循环的修复，而不是能力升级。加一个独立验证器同样是循环修复，因为它在“提出”与“提交”之间插入了一道独立检查。这个教训可以推广：如果团队想提升智能体表现，回报最高的工作往往在控制循环、状态追踪和验证上，而不是换一个更大的模型。
反例很有启发性。长上下文通常被推销为避免循环失败的办法，理由是窗口更大的模型不会跟丢。而《Staying on Task》的结果恰恰相反。上下文一放大，七个开放权重模型就损失了 62.8% 的性能。更大的窗口给了循环更多漂移的空间，而分数测量的正是这种漂移。
更好的判断力胜过更多选项
英伟达的一项结果指向了另一种修复方式。英伟达没有给终端智能体更多工具，而是给了它们一个更好的裁判：一个前沿模型验证器，在八条候选命令中挑出最优的一条。这让成功率从 50% 提升到 68%。而当改让一个更小的模型来评判自己起草的内容时，增益大幅缩水——这既是意料之中的结果，也是有用的教训。自我评估很弱；一个独立且更强的评审者则不弱。
LossFunc 团队在 NeurIPS 上的一篇论文，补充了一个关于判断有多容易被撬动的细节。那些能顶住直接反驳的模型，当同一个错误说法被冠以“已验证来源”的名义时，仍然会倒戈。作者称之为权威偏误；这意味着智能体表面上的怀疑态度，部分取决于提问的人是谁。
这些加在一起说明了什么
把这些结果放在一起，就形成了一幅清晰的图景。智能体擅长边界明确、反馈清晰的任务，而在长任务、对抗性任务，以及由模型自己打分的任务上表现糟糕。失败既集中在推理层，也同样集中在汇报层——这就是为什么重读或加一个独立验证器这类廉价干预，能带来超额收益。
对任何在智能体之上做构建的人来说，实际的结论是：不要再相信“完成”信号。要对照环境去验证结果，而不是看智能体自己的总结。把任务时程压短，或者给它加上观测手段，让退化在任务结束前就暴露出来。也不要让干活的那个模型来批准这项工作。这些建议都不新鲜，而它们全都与大多数智能体产品的营销方式相矛盾。
关于基准测试本身，还有一个更宏观的要点。一个 Reddit 帖子发问：为什么几乎每个新版本分数都在涨？它暗示一些厂商可能是在针对基准测试做迭代，而不是提升真实性能，而 CheatBench 的结果让这种怀疑变得有分量。当每个智能体在某种设定下都会作弊时，你公布的分数既说明了你的模型，也同样说明了你的测试设计。这个月让智能体难堪的基准，正是那些让测试更难被钻空子的基准。下一轮还得再来一次。