← Zurück zum Blog
Aica. 7 Min. Lesezeit

Alibabas Code-Reviewer lässt zuerst deterministische Regeln laufen und fragt danach das Modell

Veröffentlicht 14. Nov. 2026
Alibabas Code-Reviewer lässt zuerst deterministische Regeln laufen und fragt danach das Modell

Ein allgemeiner Coding-Agent, der einen großen Changeset prüfen soll, verhält sich wie jemand, der bis Freitag ein Buch Korrektur lesen muss. Er fängt gewissenhaft an, findet einen Rhythmus und irgendwo in Kapitel vier beginnt er zu überfliegen. Am Ende deckt das Review das erste Drittel des Diffs gründlich ab, erwähnt zwei Dinge in der Mitte und erklärt den Rest für sauber.

Alibabas Open Code Review, in diesem Monat als Open Source veröffentlicht, nach zwei Jahren als internes Werkzeug und bei knapp 51,000 Sternen auf GitHub, beruht auf der Beobachtung, dass dieses Versagen in der Architektur liegt und sich durch Promptarbeit nicht beheben lässt.

Drei Fehler, die das Team benennt

Das README ist ungewöhnlich direkt darin, was am Ansatz des allgemeinen Agenten schiefgeht.

Zuerst die unvollständige Abdeckung. Bei größeren Changesets prüfen Agenten ausgewählte Dateien und übersehen andere, und in einer sprachgetriebenen Schleife gibt es keinen Mechanismus, der garantiert, dass jede Datei angesehen wird.

Zweitens die Positionsdrift. Gemeldete Probleme passen häufig nicht zur tatsächlichen Codestelle, Zeilennummern und Dateiverweise rutschen vom Ziel weg. Wer je Review-Kommentare eines Agenten angewendet hat, kennt das: Der Kommentar hat beim Bug recht und beim Ort unrecht.

Drittens die instabile Qualität. Fähigkeiten in natürlicher Sprache lassen sich schwer debuggen, und die Review-Qualität bewegt sich deutlich bei kleinen Prompt-Änderungen. Damit lässt sich das Werkzeug nicht zertifizieren und in einem Gate schwer vertrauen.

Die Diagnose in einem Satz: Eine rein sprachgetriebene Architektur hat keine harten Einschränkungen für den Ablauf.

Was aus dem Modell herausgewandert ist

Das Design teilt die Arbeit. Alles, was nicht schiefgehen darf, erledigt gewöhnlicher Code. Alles, was Urteilskraft braucht, geht an den Agenten.

Die Dateiauswahl ist deterministisch. Code entscheidet, welche Dateien im Umfang liegen und welche herausgefiltert werden, damit nichts Wichtiges aus Gründen übersprungen wird, die das Modell nicht erklären kann.

Das Bündeln ist deterministisch. Zusammengehörige Dateien werden zu einer Review-Einheit gruppiert, und das Beispiel im README ist das brauchbare: `message_en.properties` und `message_zh.properties` gehören zusammen, denn ein Schlüssel, der in der einen Datei ergänzt und in der anderen vergessen wird, ist genau der Bug, den ein Reviewer pro Datei übersieht. Jedes Bündel läuft als Sub-Agent mit isoliertem Kontext, daher bleibt das Werkzeug bei riesigen Changesets stabil, und daher parallelisiert es ohne Koordination.

Die Regelzuordnung ist deterministisch. Regeln werden über eine Template-Engine mit den Eigenschaften jeder Datei abgeglichen, statt sie in Prosa zu beschreiben und auf das Modell zu hoffen. Der genannte Vorteil: Die Aufmerksamkeit des Modells bleibt bei den Regeln, die gelten, statt ein Regelwerk zu durchsuchen.

Zwei Module liegen vollständig außerhalb des Agenten: eines platziert Kommentare, eines denkt über sie nach. Beide existieren, weil ein Modell, das einen Kommentar schreibt, nicht verlässlich darin ist, wohin der Kommentar gehört, und weil ein eigener Durchlauf zum Prüfen der Platzierung besser funktioniert als eine Anweisung im Hauptprompt.

Der Agent behält die Teile, die eine Entscheidung brauchen: welchen Kontext er holt, welche Werkzeuge er aufruft, wie er einen Befund formuliert. Sein Werkzeugsatz wurde aus Produktions-Aufrufspuren bei Alibaba destilliert, inklusive Häufigkeitsverteilungen und der Frage, wie oft jedes Werkzeug wiederholt wurde. Das ist eine empirischere Grundlage als die übliche Vermutung, was ein Reviewer brauchen könnte.

Die Zahlen und der Kompromiss darin

Der Benchmark heißt AACR-Bench: 50 populäre Open-Source-Repositories, 200 echte Pull Requests, 10 Programmiersprachen, über 80 erfahrene Ingenieure und 1,505 annotierte Referenzprobleme.

Gegen einen allgemeinen Agenten mit demselben zugrunde liegenden Modell meldet Alibaba deutlich höhere Precision und einen höheren F1-Wert, etwa ein Neuntel der Tokens und schnellere Fertigstellung. Der Recall ist niedriger.

Dieser letzte Halbsatz ist der ehrlichste Satz im README, und er verschiebt, wer das Werkzeug nutzen sollte.

Precision ist der Anteil gemeldeter Probleme, die echt sind. Recall ist der Anteil echter Defekte, die gefunden werden. Ein auf Precision eingestellter Reviewer ist leise und meistens richtig. Ein auf Recall eingestellter Reviewer ist laut und findet meistens mehr.

Für ein CI-Gate in einem viel genutzten Repository ist Precision das richtige Ziel. Ein Bot, der einen Pull Request mit elf echten Problemen vierzig Mal kommentiert, wird binnen einer Woche stummgeschaltet, und ein stummgeschalteter Bot hat null Recall, egal wie sein Benchmark aussieht. Das Team hat den Kompromiss gewählt, der das Werkzeug eingeschaltet lässt.

Für ein Sicherheitsaudit von unbekanntem Code ist der Kompromiss falsch. Da will man den lauten Reviewer. Deshalb gibt es `ocr scan` als eigenen Modus, der ganze Dateien prüft statt eines Diffs, und deshalb sollte man die Precision-Priorität als Aussage über Pull Requests lesen, nicht als Urteil über Code-Review im Allgemeinen.

Installation

Das Werkzeug ist ein CLI namens `ocr`.

npm install -g @alibaba-group/open-code-review
ocr config provider
ocr config model

Die Konfiguration führt durch Provider-Auswahl, Eingabe des Schlüssels und einen Verbindungstest. Danach, aus einem Repository heraus:

ocr review                                    # staged, unstaged, untracked
ocr review --from main --to feature-branch    # merge-base range
ocr review --commit abc123
ocr scan --path internal/agent                # whole files, no git history needed
ocr review --format json --output result.json

Lange Reviews lassen sich unterbrechen und mit `ocr session list` und `--resume` fortsetzen, was zählt, sobald man das auf ein Monorepo richtet. Es gibt einen Session-Viewer im Browser, um ein Review nachzuspielen und Kommentare als behoben oder ignoriert zu markieren.

Die Designentscheidung, die ich am interessantesten finde, ist der Delegation-Modus. Im Standardmodus ruft OCR das Modell selbst auf, mit eigener Provider-Konfiguration, getrennt vom Abo für Claude Code. Im Delegation-Modus übernimmt OCR weiterhin Dateiauswahl und Regelauflösung und übergibt das eigentliche Review an Modell und Authentifizierung des Coding-Agenten. Kein separater API-Schlüssel.

Das ist eine scharfe Lesart davon, wo der Wert liegt. Das Gerüst ist das Produkt. Das Modell ist eine Ware, für die man vielleicht schon zahlt.

Warum das über Code-Review hinausgeht

Zieht man das Spezifische ab, ist die Architektur eine allgemeine Antwort auf ein allgemeines Problem: Sprachmodelle sind unzuverlässig bei erschöpfender, reihenfolgetreuer und positionsgenauer Arbeit über große Eingaben, und zuverlässig beim Urteilen in einem begrenzten Kontext.

Jede Content-Pipeline, die ich scheitern sah, ist auf dieselbe Weise gescheitert. Ein Agent soll zwanzig Produktbilder auf Markenkonformität prüfen, prüft elf und schreibt eine selbstsichere Zusammenfassung. Ein Agent soll vierzig Strings lokalisieren, überspringt vier und meldet Erfolg. Das Versagen liegt in der Abdeckung, und Abdeckung ist genau das, was eine deterministische Schicht liefert.

Was man übernehmen sollte, ist die Teilung: im Code aufzählen, im Modell urteilen, dann die Position der Ausgabe wieder im Code prüfen. Alibaba hat das auf Diffs angewendet. Dieselben drei Schritte gelten für einen Ordner generierter Assets, einen Stapel übersetzter Seiten oder eine Tabelle mit Behauptungen.

Es kostet etwas, und das ist der Grund, warum die meisten Teams es nicht tun. Deterministisches Gerüst muss pro Domäne geschrieben werden. Bündelungsregeln für Java-Properties-Dateien sind für einen Ordner mit Produktbildern wertlos, und das Reflexionsmodul, das die Kommentarplatzierung korrigiert, hat in einer Übersetzungspipeline kein Gegenstück. Die Ingenieursarbeit überträgt sich nicht. Das Muster schon.

Was ich beobachten würde

Zwei Dinge im nächsten Quartal.

Ob der Regelsatz aktuell bleibt. Eine template-gematchte Regel-Engine ist gerade deshalb stabil, weil sie explizit ist, und explizite Regeln verrotten. Die Regel, die ein NPE-Muster in Code für Java 17 fängt, kann in Code für Java 25 Rauschen sein. Stabilität durch Hardcoding hat eine Wartungsrechnung.

Und ob Precision-First außerhalb von Alibabas Codebasis hält. Ein Reviewer, der auf ein Jahrzehnt interner Konventionen eingestellt ist, wirkt auf diesen Konventionen scharf. Die offene Frage, und die, die die Community schnell beantworten wird, ist, wie er sich auf Code von Leuten verhält, die nie denselben Styleguide gelesen haben.

Verwandte Artikel