アリババのコードレビュー担当は、まず決定的なルールを走らせ、そのあとでモデルに聞く

大きな変更セットを汎用コーディングエージェントにレビューさせると、金曜日までに本を一冊校正しろと言われた人のような動きになります。最初は真面目に読み、リズムをつかみ、第四章のあたりで流し読みに変わる。結果として出てくるレビューは、diff の最初の三分の一を丁寧に覆い、中盤で二つだけ触れ、残りはきれいだと宣言します。
アリババの Open Code Review は、2年間の社内ツールを経て今月オープンソース化され、GitHub では 51,000 スターに近づいています。根底にあるのは、この失敗はアーキテクチャの問題で、プロンプトを書き換えても直らないという見方です。
チームが挙げた三つの失敗
README は、汎用エージェント方式の何がうまくいかないのかを異例なほど率直に書いています。
一つ目はカバレッジの不足です。変更セットが大きくなると、エージェントはいくつかのファイルだけを選んで見て、他を落とします。言語ドリブンのループには、すべてのファイルに目を通すことを保証する仕組みがありません。
二つ目は位置のずれです。報告される指摘は実際のコード位置と合わないことが多く、行番号やファイル参照がずれます。エージェントのレビューコメントを適用したことのある人なら誰でも知っているあれです。指摘は正しいのに、場所が違う。
三つ目は品質の不安定さです。自然言語で書かれたスキルはデバッグが難しく、プロンプトを少し変えるだけでレビューの質が大きく動きます。そのせいでツールは認定できず、ゲートに置いて信頼するのも難しくなります。
診断を一文にするとこうです。純粋に言語ドリブンのアーキテクチャには、プロセスに対するハードな制約がない。
モデルの外に移したもの
設計は仕事を分割します。間違ってはいけない部分は普通のコードが処理し、判断が必要な部分はエージェントに渡します。
ファイル選択は決定的です。どのファイルを対象に入れ、どれを除外するかをコードが決めるので、重要なファイルがモデルの説明できない理由で飛ばされることはありません。
バンドルも決定的です。関連するファイルは一つのレビュー単位にまとめられます。README の例が分かりやすい。`message_en.properties` と `message_zh.properties` は一緒に扱うべきで、片方にキーを足して片方で忘れるのは、ファイル単位のレビューがまさに見落とすバグです。各バンドルはコンテキストを分離したサブエージェントとして走ります。巨大な変更セットでも安定するのはこのためで、協調なしで並列化できるのもこのためです。
ルールのマッチングも決定的です。ルールは文章にしてモデルに期待するのをやめ、テンプレートエンジンで各ファイルの特徴に照合されます。利点として挙げられているのは、モデルの注意が適用されるルールに向いたままになり、ルールブックを読み通さずに済むことです。
二つのモジュールはエージェントの完全に外側にあります。一つはコメントの位置を決め、もう一つはコメントを振り返ります。どちらも、コメントを書くモデルはそのコメントがどこに置かれるかに信頼できないから存在します。配置を自分で確認させるのは、メインプロンプト内の指示よりも、独立したパスとして走らせたほうがうまくいきます。
エージェントに残るのは判断が要る部分です。どのコンテキストを取りに行くか、どのツールを呼ぶか、指摘をどう表現するか。ツールセットはアリババの本番呼び出しトレースから抽出したもので、呼び出し頻度の分布や各ツールが繰り返された割合も含みます。レビュアーに何が必要かという通常の当て推量より、実証的な根拠になっています。
数字と、そこに埋まったトレードオフ
ベンチマークは AACR-Bench と呼ばれます。人気のあるオープンソースリポジトリ 50 個、実際の pull request 200 件、プログラミング言語 10 種、シニアエンジニア 80 名以上、アノテーション済みの正解指摘 1,505 件。
同じ基盤モデルを使う汎用エージェントと比べて、アリババの報告では適合率と F1 が大きく上回り、トークンは約九分の一、完了も速い。再現率は低い。
その最後の一節が README でいちばん正直な一文で、誰がこれを使うべきかを変えます。
適合率は報告された指摘のうち本物の割合、再現率は本物の欠陥のうち見つかった割合です。適合率に寄せたレビュアーは静かで、たいてい正しい。再現率に寄せたレビュアーはうるさく、たいてい多く見つけます。
忙しいリポジトリの CI ゲートなら、適合率が正しい目標です。本当の問題が 11 個しかない pull request に 40 回コメントするボットは一週間でミュートされ、ミュートされたボットの再現率はゼロです。ベンチマークのスコアがどれだけ高くても関係ありません。チームはツールを付けっぱなしにできる側に賭けました。
見慣れないコードのセキュリティ監査では、このトレードオフは間違いです。欲しいのはうるさいほうのレビュアーです。だから `ocr scan` が diff を対象にせずファイル全体を見る別モードとして存在し、precision-first という既定値は pull request についての話として読むべきで、コードレビュー全体への結論にはなりません。
インストール
ツールは `ocr` という CLI です。
npm install -g @alibaba-group/open-code-review
ocr config provider
ocr config model
設定はプロバイダの選択、キーの入力、接続テストまでを順に案内します。そのうえで、リポジトリで次のように実行します。
ocr review # staged, unstaged, untracked
ocr review --from main --to feature-branch # merge-base range
ocr review --commit abc123
ocr scan --path internal/agent # whole files, no git history needed
ocr review --format json --output result.json
長いレビューは中断して `ocr session list` と `--resume` で再開できます。monorepo に向けたときにはこれが効きます。レビューを再生し、コメントを修正済みか無視かに印付けできるブラウザのセッションビューアもあります。
いちばん面白い設計判断は delegation モードだと思います。既定モードでは、OCR が自分のプロバイダ設定でモデルを直接呼びます。Claude Code のサブスクリプションとは別です。delegation モードでは、OCR はファイル選択とルール解決を担当したまま、実際のレビューをコーディングエージェント側のモデルと認証に渡します。別の API キーは要りません。
価値がどこにあるかについての鋭い読みです。足場のほうが製品で、モデルはもう払っているかもしれない商品です。
コードレビューの外でなぜ効くのか
具体をはぎ取ると、このアーキテクチャは一般的な問題への一般的な答えです。言語モデルは大きな入力に対する網羅的で順序を保ち位置が正確な作業は苦手で、限られたコンテキスト内の判断は得意です。
私が見てきたコンテンツパイプラインはどれも同じ壊れ方をしました。20 枚の製品画像のブランド適合を agent に確認させると、11 枚だけ見て自信のある要約を書く。40 本の文字列のローカライズを頼むと、4 本飛ばして成功と報告する。壊れるのはカバレッジのほうで、品質の問題ではありません。そしてカバレッジこそ決定的な層が提供するものです。
盗むべきは分割のほうです。コードで列挙し、モデルで判断し、出力位置をまたコードで検証する。アリババはそれを diff に当てはめました。同じ三手は生成アセットのフォルダにも、翻訳ページの束にも、申告の一覧表にも使えます。
コストはあります。これがほとんどのチームがやらない理由です。決定的な足場はドメインごとに書く必要があります。Java の properties ファイル向けのバンドル規則は製品画像のフォルダでは何の役にも立たず、コメント位置を直すリフレクションモジュールには翻訳パイプラインでの対応物がありません。エンジニアリングは移りません。パターンは移ります。
これから見ておきたいこと
次の四半期に二つ。
ルールセットが更新され続けるか。テンプレート照合のルールエンジンが安定しているのは、まさに明示的だからで、明示的なルールは腐ります。Java 17 のコードで NPE パターンを捕まえるルールは、Java 25 のコードではノイズかもしれません。ハードコードで買った安定には保守の請求書が付きます。
そして precision-first がアリババのコードベースの外で通用するか。10 年の社内規約で調整されたレビュアーは、その規約の上では鋭く見えます。開かれた問いであり、コミュニティがすぐ答える問いは、同じスタイルガイドを読んだことのない人が書いたコードでどう振る舞うかです。