알리바바의 코드 리뷰어는 결정적 규칙을 먼저 돌리고 모델은 그다음에 묻는다

큰 변경 집합을 범용 코딩 에이전트에게 리뷰하게 하면, 금요일까지 책 한 권을 교정하라는 사람처럼 움직여요. 처음에는 성실하게 읽고 리듬을 잡다가, 4장 어딘가에서부터 훑기 시작하죠. 결과물은 diff의 앞 3분의 1은 꼼꼼히 보고, 중간에 두 가지만 언급하고, 나머지는 깨끗하다고 선언하는 리뷰예요.
알리바바의 Open Code Review는 2년간 사내 도구로 쓰인 뒤 이번 달 오픈소스로 공개됐고, GitHub에서 51,000개에 가까운 스타를 받고 있어요. 바탕에 깔린 관찰은 이 실패가 아키텍처에서 온다는 것이고, 프롬프트를 고쳐서 해결될 종류가 아니라는 거예요.
팀이 꼽은 세 가지 실패
README는 범용 에이전트 방식의 무엇이 잘못됐는지 유난히 솔직하게 적고 있어요.
첫 번째는 불완전한 커버리지예요. 변경 집합이 커지면 에이전트는 일부 파일만 골라 보고 나머지를 놓치는데, 언어로 돌아가는 루프 안에는 모든 파일이 반드시 검토된다는 걸 보장하는 장치가 없어요.
두 번째는 위치 이탈이에요. 보고되는 이슈가 실제 코드 위치와 자주 어긋나고, 줄 번호와 파일 참조가 표적에서 미끄러져요. 에이전트 리뷰 코멘트를 직접 적용해 본 사람이라면 다 겪은 일이죠. 지적은 맞는데 위치가 틀려요.
세 번째는 품질의 불안정이에요. 자연어로 된 능력은 디버깅이 어렵고, 프롬프트가 조금만 달라져도 리뷰 품질이 크게 흔들려요. 그러면 인증을 할 수도 없고, 게이트에 두고 신뢰하기도 어려워요.
진단을 한 문장으로 줄이면 이래요. 순수하게 언어로 돌아가는 아키텍처에는 과정에 대한 단단한 제약이 없어요.
모델 밖으로 옮긴 것들
설계는 일을 쪼개요. 틀리면 안 되는 부분은 평범한 코드가 맡고, 판단이 필요한 부분은 에이전트가 맡아요.
파일 선택은 결정적이에요. 어떤 파일이 범위에 들어가고 어떤 파일이 걸러지는지를 코드가 정하기 때문에, 중요한 파일이 모델이 설명할 수 없는 이유로 빠지는 일이 없어요.
묶기도 결정적이에요. 관련된 파일은 하나의 리뷰 단위로 묶이고, README의 예시가 유용해요. `message_en.properties`와 `message_zh.properties`는 같이 있어야 하죠. 한쪽에 키를 추가하고 다른 쪽에서 잊는 것이 바로 파일 단위 리뷰가 놓치는 버그니까요. 각 묶음은 문맥이 분리된 서브 에이전트로 돌아가요. 거대한 변경 집합에서도 안정적인 이유가 이것이고, 조율 없이 병렬로 돌 수 있는 이유도 이것이에요.
규칙 매칭도 결정적이에요. 규칙은 산문으로 적어 두고 모델이 알아주기를 바라는 대신, 템플릿 엔진을 통해 각 파일의 특성에 맞춰져요. 내세우는 이점은 모델의 주의가 적용되는 규칙에 머물고 규칙집을 훑지 않아도 된다는 것이에요.
두 모듈은 아예 에이전트 바깥에 있어요. 하나는 코멘트 위치를 잡고, 하나는 코멘트를 되짚어 봐요. 둘 다 존재하는 이유는, 코멘트를 쓰는 모델이 그 코멘트가 어디로 가는지에 대해서는 믿을 만하지 않기 때문이에요. 자기 배치를 확인하게 하는 일은 메인 프롬프트 안의 지시보다 별도 패스로 돌릴 때 더 잘 돼요.
에이전트에는 결정이 필요한 부분이 남아요. 어떤 문맥을 가져올지, 어떤 도구를 부를지, 발견을 어떻게 표현할지. 도구 집합은 알리바바의 운영 호출 트레이스에서 정제한 것으로, 호출 빈도 분포와 각 도구가 얼마나 자주 반복됐는지까지 포함해요. 리뷰어에게 무엇이 필요할지 짐작하는 보통의 방식보다 경험적인 근거예요.
숫자, 그리고 그 안에 묻힌 트레이드오프
벤치마크 이름은 AACR-Bench예요. 인기 있는 오픈소스 저장소 50개, 실제 pull request 200건, 프로그래밍 언어 10종, 시니어 엔지니어 80여 명, 주석이 달린 정답 이슈 1,505건이에요.
같은 기반 모델을 쓰는 범용 에이전트와 비교해 알리바바가 보고한 결과는 정밀도와 F1이 크게 높고, 토큰은 약 9분의 1, 완료도 더 빨라요. 재현율은 더 낮아요.
그 마지막 절이 README에서 가장 정직한 문장이고, 누가 이걸 써야 하는지를 바꿔요.
정밀도는 보고된 이슈 중 진짜의 비율이고, 재현율은 진짜 결함 중 찾아낸 비율이에요. 정밀도에 맞춘 리뷰어는 조용하고 대개 맞아요. 재현율에 맞춘 리뷰어는 시끄럽고 대개 더 많이 찾아요.
바쁜 저장소의 CI 게이트라면 정밀도가 맞는 목표예요. 진짜 문제가 11개뿐인 pull request에 마흔 번 코멘트를 다는 봇은 일주일 안에 음소거되고, 음소거된 봇의 재현율은 0이에요. 벤치마크 점수가 아무리 높아도 소용없죠. 팀은 도구를 계속 켜 두는 쪽으로 걸었어요.
낯선 코드의 보안 감사에서는 이 트레이드오프가 틀려요. 그때 필요한 건 시끄러운 리뷰어예요. 그래서 `ocr scan`이 diff를 보지 않고 파일 전체를 리뷰하는 별도 모드로 있고, precision-first라는 기본값은 pull request에 대한 이야기로 읽어야 해요. 코드 리뷰 전반에 대한 결론은 아니에요.
설치하기
도구는 `ocr`라는 CLI예요.
npm install -g @alibaba-group/open-code-review
ocr config provider
ocr config model
설정은 프로바이더 선택, 키 입력, 연결 테스트를 차례로 안내해요. 그다음 저장소에서:
ocr review # staged, unstaged, untracked
ocr review --from main --to feature-branch # merge-base range
ocr review --commit abc123
ocr scan --path internal/agent # whole files, no git history needed
ocr review --format json --output result.json
긴 리뷰는 중단하고 `ocr session list`와 `--resume`으로 이어서 돌릴 수 있어요. monorepo를 겨냥하면 이게 중요해져요. 리뷰를 재생하고 코멘트를 고침 또는 무시로 표시할 수 있는 브라우저 세션 뷰어도 있어요.
제가 가장 흥미롭게 본 설계 결정은 delegation 모드예요. 기본 모드에서 OCR은 자체 프로바이더 설정으로 모델을 직접 불러요. Claude Code 구독과는 별개예요. delegation 모드에서 OCR은 파일 선택과 규칙 해석을 그대로 맡고, 실제 리뷰는 코딩 에이전트의 모델과 인증에 넘겨요. 별도 API 키가 필요 없어요.
가치가 어디에 있는지에 대한 날카로운 판단이에요. 발판이 제품이고, 모델은 이미 돈을 내고 있을 수도 있는 상품이에요.
코드 리뷰 바깥에서 왜 중요한가
구체를 걷어내면 이 아키텍처는 일반적인 문제에 대한 일반적인 답이에요. 언어 모델은 큰 입력에 대해 빠짐없이, 순서를 지키며, 위치까지 정확한 작업을 잘 못 하고, 경계가 정해진 문맥 안에서의 판단은 잘해요.
제가 본 콘텐츠 파이프라인은 모두 같은 방식으로 무너졌어요. 제품 이미지 스무 장의 브랜드 적합성을 확인하라고 하면 열한 장만 보고 자신 있는 요약을 써요. 문자열 마흔 개를 현지화하라고 하면 네 개를 건너뛰고 성공했다고 보고해요. 무너지는 지점은 커버리지이고, 커버리지는 결정적 층이 제공하는 바로 그거예요.
훔쳐야 할 것은 그 분할이에요. 코드에서 열거하고, 모델에서 판단하고, 출력 위치를 다시 코드에서 검증해요. 알리바바는 그것을 diff에 적용했어요. 같은 세 단계가 생성 자산 폴더에도, 번역 페이지 묶음에도, 청구 항목 표에도 적용돼요.
비용이 있고, 대부분의 팀이 이걸 하지 않는 이유가 그것이에요. 결정적 발판은 영역마다 따로 써야 해요. Java properties 파일용 묶기 규칙은 제품 이미지 폴더에서 쓸모가 없고, 코멘트 위치를 고치는 반성 모듈은 번역 파이프라인에 대응물이 없어요. 엔지니어링은 옮겨지지 않아요. 패턴은 옮겨져요.
제가 지켜볼 것
다음 분기에 두 가지예요.
규칙 집합이 최신으로 유지되는지. 템플릿 매칭 규칙 엔진이 안정적인 이유는 정확히 명시적이기 때문이고, 명시적인 규칙은 낡아요. Java 17 코드에서 NPE 패턴을 잡는 규칙은 Java 25 코드에서는 소음일 수 있어요. 하드코딩으로 산 안정성에는 유지비 청구서가 붙어요.
그리고 precision-first가 알리바바 코드베이스 밖에서도 통하는지. 10년치 사내 관례에 맞춰 조정된 리뷰어는 그 관례 위에서 날카로워 보여요. 열린 질문이고 커뮤니티가 곧 답할 질문은, 같은 스타일 가이드를 읽은 적 없는 사람이 쓴 코드에서 어떻게 행동하는가예요.