← 返回部落格
Ai預計閱讀 10 分鐘

阿里的程式碼審查器先跑確定性規則,再問模型

發布於 2026年11月14日
阿里的程式碼審查器先跑確定性規則,再問模型

讓一個通用編碼 agent 去審一大份改動,就像讓人在週五前把一本書校對完。開頭還挺認真,找到節奏,到了第四章某處就開始跳著看。最後交出來的審查,前三分之一的 diff 看得挺細,中間提兩句,剩下的全部判為乾淨。

阿里開源的 Open Code Review 這個月放出來,此前做了兩年內部工具,GitHub 上已經接近 51,000 星。它的出發點是一個判斷:這種失敗屬於架構層面,改提示詞救不回來。

團隊點名的三種失敗

README 對通用 agent 方案的毛病寫得很直接。

第一是覆蓋不全。改動一大,agent 會挑著看幾個檔案,漏掉其他的,而靠語言驅動的迴圈裡沒有任何機制能保證每個檔案都被看過。

第二是位置漂移。報出來的問題經常對不上真實的程式碼位置,行號和檔案引用會滑走。手動套用過 agent 審查意見的人都碰過:問題說對了,位置說錯了。

第三是品質不穩。用自然語言描述的能力很難除錯,提示詞稍微一改,審查品質就明顯波動。這樣的工具沒法做認證,也很難放進門檻裡讓人放心。

一句話概括診斷:純語言驅動的架構,對過程沒有任何硬約束。

哪些事它從模型手裡拿走了

設計上把工作切開。不能出錯的部分交給普通程式碼,需要判斷的部分交給 agent。

選檔案是確定性的。由程式碼決定哪些檔案進入範圍、哪些被過濾掉,重要檔案不會因為模型講不清的理由被跳過。

打包是確定性的。相關檔案被歸成一個審查單元,README 裡的例子很好用:`message_en.properties` 和 `message_zh.properties` 應該放在一起,因為一邊加了 key、另一邊忘了加,正是逐檔審查會漏掉的 bug。每個包作為一個子 agent 跑,上下文隔離,這也是它在超大改動上還能穩住的原因,也是它能無協調平行起來的原因。

規則媒合是確定性的。規則透過模板引擎按檔案特徵來媒合,沒有把規則寫成一段話再指望模型自己照做。官方說法是,這樣模型的注意力能留在適用的規則上,不用通讀一本規則手冊。

有兩個模組完全放在 agent 之外:一個負責給評論定位,一個負責回頭檢查這些評論。它們存在的原因是,寫評論的模型對自己把評論放在哪裡並不可靠;讓它單獨跑一遍檢查位置,比在主提示詞裡加一句要求效果更好。

agent 保留需要做決定的部分:取哪些上下文,調哪些工具,一條發現怎麼措辭。它的工具集是從阿里生產環境的呼叫記錄裡提煉出來的,包括呼叫頻次分佈、每個工具被重複呼叫的比例,這個依據比「猜審查者需要什麼」要實在。

數字,以及藏在數字裡的取捨

基準叫 AACR-Bench:50 個熱門開源倉庫、200 個真實 pull request、10 種程式語言、80 多位資深工程師、1,505 條標註過的問題。

在同一個底層模型下,和通用 agent 相比,阿里給出的結果是精確率和 F1 明顯更高,token 大約只用了九分之一,完成速度更快。召回率更低。

最後那半句是 README 裡最誠實的一句話,它決定了這東西適合誰用。

精確率指的是報出來的問題裡有多少是真的,召回率指的是真問題裡被找出來多少。偏精確率的審查器話少,通常說得對。偏召回率的審查器吵,通常找得更多。

對繁忙倉庫的 CI 門檻來說,精確率是對的目標。一個 bot 在一個只有 11 個真問題的 pull request 上評論四十次,一週之內就會被靜音,而被靜音的 bot 召回率是零,基準分再高也沒用。團隊做的取捨,是為了讓工具一直開著。

對不熟悉的程式碼做安全稽核,這個取捨就是錯的。你要的正是那個吵鬧的審查器。所以有 `ocr scan` 這個獨立模式,它審整個檔案,不走 diff;所以「精確率優先」這個預設值,說的是 pull request 這個場景,不能推廣成對整個程式碼審查的結論。

裝一下

工具是個 CLI,叫 `ocr`。

npm install -g @alibaba-group/open-code-review
ocr config provider
ocr config model

設定流程會走一遍選擇 provider、填 key、連通性測試。然後在倉庫裡:

ocr review                                    # staged, unstaged, untracked
ocr review --from main --to feature-branch    # merge-base range
ocr review --commit abc123
ocr scan --path internal/agent                # whole files, no git history needed
ocr review --format json --output result.json

時間長的審查可以中斷,再用 `ocr session list` 和 `--resume` 接著跑,把它指向 monorepo 之後這點很重要。還有一個瀏覽器裡的 session 檢視器,可以回放一次審查,把評論標成已修或忽略。

我覺得最有意思的設計決定是 delegation 模式。預設模式下,OCR 用自己的 provider 設定直接呼叫模型,跟你的 Claude Code 訂閱是分開的。delegation 模式下,OCR 仍然負責選檔案和解析規則,把真正的審查交給編碼 agent 自己的模型和驗證。不需要另配 API key。

這是對「價值在哪裡」很銳利的一次判斷。鷹架才是產品,模型是可以買到的商品,而且你可能已經付過錢了。

為什麼這事不止於程式碼審查

把具體場景剝掉,這個架構是對一個普遍問題的普遍回答:語言模型在大輸入上做窮盡式、保序、位置精確的工作並不可靠,在有限上下文裡做判斷則很可靠。

我見過的每一條內容流水線,翻車方式都一樣。讓 agent 檢查二十張產品圖的品牌合規,它檢查了十一張,然後寫了一段很有把握的總結。讓 agent 本地化四十條文案,它跳過四條,回報成功。失敗的地方在覆蓋度,跟品質無關,而覆蓋度恰好是確定性層能給的東西。

值得抄的是那個切分:程式碼裡做列舉,模型裡做判斷,再回到程式碼裡校驗輸出的位置。阿里把它用在 diff 上。同樣三步可以用在一個資料夾的生成素材、一批譯文頁面,或者一張申報清單上。

有代價,這也是大多數團隊不做這件事的原因。確定性的鷹架要按領域分別寫。給 Java properties 檔案用的打包規則,放到產品圖資料夾裡毫無用處;修正評論位置的反思模組,在翻譯流水線裡也找不到對應的做法。工程部分不可遷移,模式可以。

我會盯的兩件事

接下來一季,兩件事。

規則集能不能保持更新。模板媒合的規則引擎之所以穩,正因為它寫得明白,而寫得明白的規則會爛掉。在 Java 17 程式碼裡能抓到 NPE 模式的那條規則,到了 Java 25 的程式碼裡可能就是噪音。靠硬編碼換來的穩定,後面有一張維護帳單。

還有 precision-first 在阿里的程式碼庫之外站不站得住。一個在十年內部規範裡調出來的審查器,在這些規範上當然顯得準。真正開放的問題,也是社群很快會給出答案的問題,是它在那些從沒讀過同一份風格指南的人寫的程式碼上表現如何。

相關文章