阿里的代码评审器先跑确定性规则,再问模型

让一个通用编码 agent 去审一大份改动,就像让人在周五前把一本书校对完。开头还挺认真,找到节奏,到了第四章某处就开始跳着看。最后交出来的评审,前三分之一的 diff 看得挺细,中间提两句,剩下的全部判为干净。
阿里开源的 Open Code Review 这个月放出来,此前做了两年内部工具,GitHub 上已经接近 51,000 星。它的出发点是一个判断:这种失败属于架构层面,改提示词救不回来。
团队点名的三种失败
README 对通用 agent 方案的毛病写得很直接。
第一是覆盖不全。改动一大,agent 会挑着看几个文件,漏掉其他的,而靠语言驱动的循环里没有任何机制能保证每个文件都被看过。
第二是位置漂移。报出来的问题经常对不上真实的代码位置,行号和文件引用会滑走。手动应用过 agent 评审意见的人都碰到过:问题说对了,位置说错了。
第三是质量不稳。用自然语言描述的能力很难调试,提示词稍微一改,评审质量就明显波动。这样的工具没法做认证,也很难放进门禁里让人放心。
一句话概括诊断:纯语言驱动的架构,对过程没有任何硬约束。
哪些事它从模型手里拿走了
设计上把工作切开。不能出错的部分交给普通代码,需要判断的部分交给 agent。
选文件是确定性的。由代码决定哪些文件进入范围、哪些被过滤掉,重要文件不会因为模型讲不清的理由被跳过。
打包是确定性的。相关文件被归成一个评审单元,README 里的例子很好用:`message_en.properties` 和 `message_zh.properties` 应该放在一起,因为一边加了 key、另一边忘了加,正是逐文件评审会漏掉的 bug。每个包作为一个子 agent 跑,上下文隔离,这也是它在超大改动上还能稳住的原因,也是它能无协调并行起来的原因。
规则匹配是确定性的。规则通过模板引擎按文件特征来匹配,没有把规则写成一段话再指望模型自己照做。官方说法是,这样模型的注意力能留在适用的规则上,不用通读一本规则手册。
有两个模块完全放在 agent 之外:一个负责给评论定位,一个负责回头检查这些评论。它们存在的原因是,写评论的模型对自己把评论放在哪儿并不可靠;让它单独跑一遍检查位置,比在主提示词里加一句要求效果更好。
agent 保留需要做决定的部分:取哪些上下文,调哪些工具,一条发现怎么措辞。它的工具集是从阿里生产环境的调用记录里提炼出来的,包括调用频次分布、每个工具被重复调用的比例,这个依据比「猜评审者需要什么」要实在。
数字,以及藏在数字里的取舍
基准叫 AACR-Bench:50 个热门开源仓库、200 个真实 pull request、10 种编程语言、80 多位资深工程师、1,505 条标注过的问题。
在同一个底层模型下,和通用 agent 相比,阿里给出的结果是精确率和 F1 明显更高,token 大约只用了九分之一,完成速度更快。召回率更低。
最后那半句是 README 里最诚实的一句话,它决定了这东西适合谁用。
精确率指的是报出来的问题里有多少是真的,召回率指的是真问题里被找出来多少。偏精确率的评审器话少,通常说得对。偏召回率的评审器吵,通常找得更多。
对繁忙仓库的 CI 门禁来说,精确率是对的目标。一个 bot 在一个只有 11 个真问题的 pull request 上评论四十次,一周之内就会被静音,而被静音的 bot 召回率是零,基准分再高也没用。团队做的取舍,是为了让工具一直开着。
对不熟悉的代码做安全审计,这个取舍就是错的。你要的正是那个吵闹的评审器。所以有 `ocr scan` 这个独立模式,它审整个文件,不走 diff;所以「精确率优先」这个默认值,说的是 pull request 这个场景,不能推广成对整个代码评审的结论。
装一下
工具是个 CLI,叫 `ocr`。
npm install -g @alibaba-group/open-code-review
ocr config provider
ocr config model
配置流程会走一遍选择 provider、填 key、连通性测试。然后在仓库里:
ocr review # staged, unstaged, untracked
ocr review --from main --to feature-branch # merge-base range
ocr review --commit abc123
ocr scan --path internal/agent # whole files, no git history needed
ocr review --format json --output result.json
时间长的评审可以中断,再用 `ocr session list` 和 `--resume` 接着跑,把它指向 monorepo 之后这点很重要。还有一个浏览器里的 session 查看器,可以回放一次评审,把评论标成已修或忽略。
我觉得最有意思的设计决定是 delegation 模式。默认模式下,OCR 用自己的 provider 配置直接调模型,跟你的 Claude Code 订阅是分开的。delegation 模式下,OCR 仍然负责选文件和解析规则,把真正的评审交给编码 agent 自己的模型和鉴权。不需要另配 API key。
这是对「价值在哪儿」很锐利的一次判断。脚手架才是产品,模型是可以买到的商品,而且你可能已经付过钱了。
为什么这事不止于代码评审
把具体场景剥掉,这个架构是对一个普遍问题的普遍回答:语言模型在大输入上做穷尽式、保序、位置精确的工作并不可靠,在有限上下文里做判断则很可靠。
我见过的每一条内容流水线,翻车方式都一样。让 agent 检查二十张产品图的品牌合规,它检查了十一张,然后写了一段很有把握的总结。让 agent 本地化四十条文案,它跳过四条,报告成功。失败的地方在覆盖度,跟质量无关,而覆盖度恰好是确定性层能给的东西。
值得抄的是那个切分:代码里做枚举,模型里做判断,再回到代码里校验输出位置。阿里把它用在 diff 上。同样三步可以用在一文件夹生成素材、一批译文页面,或者一张申报清单上。
有代价,这也是大多数团队不做这件事的原因。确定性的脚手架要按领域分别写。给 Java properties 文件用的打包规则,放到产品图文件夹里毫无用处;修正评论位置的反思模块,在翻译流水线里也找不到对应的做法。工程部分不可迁移,模式可以。
我会盯的两件事
接下来一个季度,两件事。
规则集能不能保持更新。模板匹配的规则引擎之所以稳,正因为它写得明白,而写得明白的规则会烂掉。在 Java 17 代码里能抓到 NPE 模式的那条规则,到了 Java 25 的代码里可能就是噪音。靠硬编码换来的稳定,后面有一张维护账单。
还有 precision-first 在阿里的代码库之外站不站得住。一个在十年内部规范里调出来的评审器,在这些规范上当然显得准。真正开放的问题,也是社区很快会给出答案的问题,是它在那些从没读过同一份风格指南的人写的代码上表现如何。