← 블로그로
Ai약 12 분 읽기

METR는 Anthropic 내부에서 11주를 보냈다. 숫자는 1.9이고, 증거 대부분은 검게 칠해졌다.

게시일 2026년 11월 7일
METR는 Anthropic 내부에서 11주를 보냈다. 숫자는 1.9이고, 증거 대부분은 검게 칠해졌다.

METR은 이번 달 AI가 AI 연구를 가속하는지에 대한 독립 평가를 발표했습니다. 근거는 Anthropic 내부에서 11주 동안 얻은 이례적인 접근 권한입니다. 핵심 추정치는 Anthropic의 측정 가능한 능력 진전이 2025년 10월의 변화점 이후 이전 속도의 약 1.9배로 진행되었다는 것이며, 95퍼센트 신뢰구간은 1.5에서 2.8입니다.

지수로 말하면 이전에는 연간 약 15 AECI 포인트, 이후에는 약 29 포인트입니다. 역사상 2년치 진전을 1년으로 압축한 셈입니다. METR은 이 크기를 Claude 2.1에서 Sonnet 4.5로의 도약에 비유합니다.

두 번째 핵심은 가속의 약 80퍼센트가 Anthropic 자체 연구에서 AI가 사용된 데 기인한다는 것입니다. 세 번째는 METR이 가장 정보량이 많다고 평가한 증거의 대부분을 Anthropic이 삭제했다는 것입니다.

이 세 문장은 함께 읽어야 합니다. 그리고 거의 아무도 함께 읽지 않습니다.

접근 권한의 실체

8월 12일부터 10월 29일까지 약 2.5명분의 전임 인력 팀이 사전학습 및 RL 지표, 학습 컴퓨트 수치, 미공개 모델의 내부 벤치마크 점수, 내부 가속 분석, 모델 예측, 그리고 Anthropic 연구자와의 약 15건의 인터뷰와 직원 설문에 접근했습니다. METR은 회사로부터 돈을 받지 않았고, 보안상의 이유로 Anthropic 기기에서 작업했습니다.

분석은 2026년 7월에서 10월 사이에 학습을 마친 미공개 모델 세 개를 대상으로 했습니다. 이것이 이전의 모든 외부 평가와 다른 점입니다. 이전에는 공개된 모델과 공개 벤치마크만 볼 수 있었습니다.

METR은 긍정적 결론만큼 중요한 부정적 발견도 제시합니다. 가속이 학습 컴퓨트의 빠른 증가로 설명되지는 않는다고 확신한다는 것입니다. 하드웨어를 얼마나 투입했는지와 별개로 일이 처리되는 방식이 달라졌습니다.

80퍼센트는 측정이 아니라 판단이다

"이 가속 중 얼마가 AI에서 왔는지"를 읽어내는 계기는 없습니다. METR은 벤치마크 궤적, 학습 지표, 인터뷰, 설문을 결합해 기여도 추정치에 도달했습니다.

인터뷰 자료가 가장 구체적인 부분입니다. 한 연구자는 METR에 이제 작업은 "아이디어와 컴퓨트에서만 병목이 있고, 더 이상 코드에서 병목이 없다"고 말했습니다. 예전에는 준비에 하루에서 이틀이 걸리던 실험이 이제 거의 무료라는 보고도 있었습니다. 2026년 10월의 비공식 Slack 투표에서 직원들은 최신 내부 모델이 생산성을 약 12배 높였다고 추정했습니다. 비교하자면 같은 지표는 Claude 3.7 Sonnet에서 약 1.2배였습니다.

METR은 이런 자기평가를 매우 느슨한 증거이며 대표성이 없고 실제 이득을 과대평가할 가능성이 높다고 말합니다. 12배는 예전에 귀찮던 일이 더 이상 귀찮지 않게 되었을 때 사람들이 보고하는 종류의 숫자이고, 스톱워치를 대면 버티지 못합니다.

그래서 이 주장의 정직한 상태는 이렇습니다. 1.9배 가속의 상당 부분, 아마 대부분, 어쩌면 80퍼센트가 AI 지원에서 비롯됩니다. 그 문장의 모든 단어가 일을 하고 있습니다.

임계값에는 숫자가 있고, 그것이 문제다

Anthropic의 Responsible Scaling Policy 버전 3.4는 2026년 7월 8일 발효되었습니다. 여기에는 자동화된 연구와 관련된 두 가지 트리거가 명시되어 있습니다. 경쟁력 있는 비용으로 회사의 연구 인력을 대체할 수 있는 AI 시스템, 또는 진전 속도가 두 배가 되고 그것이 상당 부분 연구나 엔지니어링 자동화에 기인할 수 있는 경우입니다. 정책은 두 배를 원래 2년 걸릴 진전을 1년에 이루는 것으로 정의합니다.

2배라는 계수를 명시한 정책은 감사자가 1.97을 보고할 때 분명한 질문을 만듭니다. Anthropic의 2026년 8월 공개 보고서는 가속이 "2배 미만"이라고 밝혔습니다. 이 평가에 관한 보도에 따르면 회사 자체의 삭제되지 않은 내부 버전은 1.97을 시사합니다. 회사는 임계값을 넘는 것이 가능하다고 설명해 왔습니다. 11월 2일 미국 증권거래위원회에 제출한 서류에서 회사는 극적으로 가속된 진전에 대한 자체 정의에 "머지않아 해당할 수 있다"고 밝혔습니다.

METR은 별도로 조기 경보 임계값이 7월 15일까지 이미 넘어섰을 가능성이 있다고 판단했습니다.

그 순서를 다시 읽어 보십시오. 이상하기 때문입니다. 한 회사가 숫자가 들어간 규칙을 썼습니다. 내부 접근 권한을 가진 외부 감사자가 그 숫자보다 살짝 낮은 값을 추정했습니다. 그리고 회사는 규제 당국에 곧 그 숫자를 넘을 수도 있다고 알렸습니다. 임계값이 넘어졌다고 말한 사람은 아무도 없습니다.

그것이 반드시 회피는 아닙니다. Anthropic은 이 임계값을 심각한 위험이 도래했다는 증거가 아니라 조기 경보로 규정하며, 후속 모델의 완전 자율 개발에는 아직 이르지 않았다고 말합니다. 발동하는 정책 임계값은 안전장치를 작동시키게 되어 있고, 어떤 안전장치인가라는 질문은 보도자료로 답할 수 없는 실제 질문입니다.

그러나 그것은 이 장치가 현재 행동이 아니라 성명을 만들어 내고 있으며, 그 성명이 조심스럽게 완곡하게 쓰였다는 것을 의미합니다.

삭제가 핵심이다

METR은 Anthropic이 평가자들이 가장 정보량이 많다고 본 자료의 대부분을 공개하지 않았다고 말합니다. 미래 모델 예측과 병목 분석이 포함됩니다. 회사가 능력 연구와 안전 연구 사이에 컴퓨트를 어떻게 배분하는지를 다루는 예정된 감사 부분은 중도에 취소되었습니다.

결과는 구체적입니다. 대중은 이 추정치를 검증할 수 없습니다. 1.9라는 숫자는 벤치마크 선택, 변화점을 어디에 두는지, 과제 난이도에 대한 가정에 달려 있습니다. METR 자체의 민감도 분석은 이런 가정에 따라 추정치가 1.1배에서 2.9배 사이로 움직인다고 보여줍니다.

그리고 덜 주목받는 두 번째 숫자가 있습니다. METR이 Anthropic을 회사 자체의 역사가 아니라 모든 개발자의 프런티어 모델과 비교했을 때 추정 속도는 연간 약 17 포인트에서 24 포인트로, 즉 1.4배로 올라갔습니다. METR은 그 차이가 Anthropic이 프런티어 뒤에서 따라잡고 있기 때문일 수 있고, 이전 모델이 벤치마크에 맞춰 조정된 정도의 차이일 수도 있다고 제안합니다.

한 회사에 1.9. 분야 전체에 1.4. 둘 다 가속입니다. 2배를 중심으로 쓰인 정책을 발동하는 데 가까운 것은 둘 중 하나뿐입니다.

무엇이 있어야 검증 가능해지는가

정직한 답은 공개된 자료 중 외부인이 이 분석을 재현할 수 있게 하는 것은 아무것도 없으며, 그것은 METR 작업의 결함이 아니라 민간 기업을 평가하는 일의 구조적 특징이라는 것입니다.

바꿀 수 있는 것들입니다. AECI 벤치마크의 구성과 가중치를 공개해 이 지수가 건물 밖에서도 의미를 갖게 하는 것. 변화점 방법론을 공개하는 것. 두 번째 평가자가 같은 조건에서 삭제된 자료를 보게 하는 것. 그리고 현재 뒤섞여 있는 두 질문, 즉 진전이 가속되었는지와 AI가 그것을 일으켰는지를 분리하는 것. 전자는 측정 가능하고 후자는 추론입니다.

METR이 제기하고 답하지 않은 질문도 있습니다. 향후 12개월 동안 속도를 늦출 병목을 찾지 못했고, 이는 추가 가속이 결론이 난 질문이 아니라 현실적인 위험임을 뜻합니다. 현재 속도가 유지되고 복리가 계속되면 2배는 임계값이기를 그치고 하나의 서술이 됩니다.

연구소 밖에 있는 사람에게 실질적인 결론은 헤드라인이 시사하는 것보다 좁습니다. AI는 현재 인간 연구자의 가속제입니다. 자율적인 연구를 하는 것은 아닙니다. 이 두 문장 사이의 간격이 바로 모든 정책 논쟁이 실제로 존재하는 곳이며, METR의 보고서는 삭제를 포함해 그 간격에 대해 누구든 공개한 가장 정밀한 기술입니다.

관련 글