如果你的 agent 每次都照同一份脚本走,就把脚本编译掉

大多数生产环境里的 agent,都是一个语言模型读着一份流程文档,然后把每一步临时想出来。有人写了一份文档,说明怎么处理退款、怎么给工单分类、怎么对账,模型就在运行时读它,每到一个分支就决定下一步做什么。
一篇叫 ReTrace 的论文问了一个很自然的问题。既然流程在每次运行之间并不变化,为什么每次都要由模型来决定步骤?
论文的说法
报出来的数字足够具体,具体到可以拿来争论,这是好事。在 79 条生产流程上,ReTrace 生成的工作流完成了 93.8% 的任务。原来的 agent 完成 96.8%。编译出来的工作流,每个任务便宜 24%。
在另一个基准上,时间差距更大:1.3 秒,对应的 agent 要 170 秒。
把这两组数字放在一起,这笔交易的样子就出来了。你放弃三个百分点的完成率,换回一个成本低四分之一、实际耗时只有原来约 1% 的任务。对一个一天跑 10,000 次的流程来说,这改变了这个流程存在的意义。
它是怎么编译的
这套机制的做法是抽出一个程序,提示词写得好不好在这里帮不上什么忙。
系统看着 agent 按流程走一遍,把每次工具调用背后的理由抽出来。这些理由不会被存成散文。跨多次运行反复出现的条件会被合并成一份精简的规则文档,这份文档再被编译成一个可执行的工作流:一张由步骤、分支和工具调用组成的图,运行时的决策路径上没有模型。
结果是,模型的判断在构建阶段被捕获一次,然后反复使用。运行时执行的只有从那个判断里推导出来的代码。
如果这听起来像是对提前编译胜过解释执行的那套论证,那它就是。解释器灵活,代价是每次执行都要为这份灵活付钱。编译器付一次钱,然后跑得很快,输入一旦不再匹配它被编译时所针对的东西,就崩。
那三个百分点丢在哪
老实的问题是,编译后的工作流丢掉的是哪 3% 的任务,论文的表述暗示答案是那些不寻常的。
一份流程文档覆盖正常路径,对例外情况只是比划一下。agent 读它,遇到不合适的案子可以临场发挥:问一个澄清问题,换一个工具试试,注意到客户账户上有个标记,而这个标记会改变一切。编译后的工作流只做它被编译去做的事,一旦案子落在规则文档之外,它要么失败,要么很有信心地做错。
这就是为什么 24% 的成本节省有意思,而 93.8% 才是决定要不要用的那个数。在一个失败任务要由人工按每例 $10 重试的流程里,省下 24% 的算力、多出 3% 的升级工单,可能是净亏。在一个失败任务会被下游校验器抓住并自动重试的流程里,同样的数字就是白拿的钱。
论文似乎没有按类型拆解这些失败,至少现有可见的版本里没有。团队要把一条流程搬进生产,缺的正是这份拆解。
这对 agent 技术栈意味着什么
过去两年占主导的说法是,模型变强,agent 就变强。ReTrace 指向另一根轴。agent 做的一部分工作确实是开放的,每一步都需要模型在环里。另一部分是决策树固定的流程,让模型去跑它就是浪费 token,跟为了解析一个日期去调用语言模型一样浪费。
有意思的地方在于,这条分界线可以被发现出来,不需要事先声明。你不必提前判断自己的哪些流程是程序性的。你让 agent 跑起来,看它做什么,然后让抽取这一步告诉你,它的决策模式是否稳定到可以编译。
这带来一个组织层面的后果。编译后的工作流是一份可读的产物。有人能打开它,看到真正的规则,包括那些没人写进文档的,比如「退款超过五百就走人工」,这条规则之所以存在,只是因为 agent 从例子里推了出来。这比一份对话记录是更好的审计线索,也是合规团队敢签字的那种东西。
没人解决的维护问题
编译后的工作流有一种 agent 没有的失效方式:漂移。退款政策改了,编译出来的图会继续执行旧的那一套,直到有人重新编译。工具的 schema 改了,工作流还在调用一个已经不再接受这些参数的函数。
读流程文档的 agent 也有同样的问题,只是轻一些。它读的是当前的文档,所以政策变化在下一次运行就生效。它读的也是当前的 schema,所以改了名的参数它也能处理。你为这种适应性在每次调用时付钱,而 ReTrace 的整个论证就是你在付多了。
修法明显而且不好看:变更时重新编译,把规则文档当成一个有版本、走和代码同一套评审流程的产物。工具链是否让这件事变容易,是一个研究结果和一个产品之间的区别。
要不要试
如果你在跑任何有量的、照着书面流程走的东西,这笔账值得用自己的数据算一遍。拿一条流程,记录几百次运行,看 agent 走了一条文档里没有的路径的频率有多高。如果答案接近从不,那你就是在花钱让一个模型当 switch 语句。
如果答案是经常,那你的流程没有你以为的那么像流程,把它编译出来,会得到一个在你业务真正在意的那些案子上失败的工作流。
这篇论文最有用的贡献,也许是它让这件事变得可测量。两年来关于 agent 的争论都是关于能力的,而能力很难定价。ReTrace 给一个具体的决策定了价:模型的判断,每一步值多少美元,值多少秒。在 79 条流程上,答案是省下 24% 的算力、99% 的延迟,代价是三个百分点的完成率。这是财务团队能拿去用的数字。
完整论文在 arXiv 上,目前可见的解读在实现细节上都很薄,所以把这些数字当成一个主张,而不要当成一份配方。但它问的问题是对的,每一个大规模跑 agent 的团队,很快都会被某个拿着账单的人问到这个问题。
相关文章
一份社区维护的点击表,关掉了国产 Android 系统里的广告
它不动系统,不解锁,不刷机,只把厂商本来就留出来的开关一个个拨过去。代价是这份名单得一直有人续写。
GPT Image 2.6 守住 token 价格,账单却涨了
GPT Image 2.6 沿用了 2.5 的全部 token 费率,单张图却更贵,因为更多的活现在花在输出 token 上。上线十一天,定价结构说的比排行榜更多。
有人从外部重建了 IDM,并写下了自己没有碰过的部分
Mister Download Manager 用 Rust 重写了 Internet Download Manager 的下载流程,声称速度快 5 倍、支持 86 种语言。更值得细读的,是它解释如何在不复制任何代码的前提下完成重写的那一段。
Rune 是一个 Rust UI 框架,设计初衷是让 agent 能检查自己的工作
Rune 能无头渲染、导出元素树并接受脚本化输入,这让编码 agent 拿到截图永远给不了的东西,一个可 diff 的信号。这个框架仍是预发布版本,不接受 pull request。