TokenEconomizer: 같은 것을 두 번 배우지 않게 만드는 방법

익숙한 청구서가 있다. 매일 같은 저장소에서 코딩 에이전트를 돌린다. 에이전트는 테스트에 pytest가 아니라 python -m pytest가 필요하다는 사실을 매번 다시 배운다. 한 번도 호출하지 않는 브라우저 도구를 로드한다. 같은 오류를 세 번 연속 만나고, 같은 수정을 네 번 시도하고, 그러고 나서 막혔다고 말한다.
이 중 어느 것도 모델 문제가 아니다. 기억 문제이고, Microsoft Research와 UC Berkeley, Microsoft Security가 만든 TokenEconomizer는 모델을 전혀 건드리지 않고 그 문제를 공격한다.
무엇을 측정했나
논문(arXiv 2610.22732)은 SWE-Bench 작업에서 에이전트–모델 조합 다섯 개 전반에 평균 비용이 18.4%에서 30.9% 낮아졌다고 보고한다. 서른 개의 저장소 × 조합 셀 전부에서 더 쌌다. Pass@1은 다섯 중 넷에서 올랐다.
조합별 숫자를 자세히 읽어야 한다. 절감이 어디서 오는지 보여주기 때문이다.
- Claude Code + Sonnet 5: 비용 −23.6%, Pass@1 +1.3
- Claude Code + Opus 4.8: 비용 −30.9%, Pass@1 −1.0
- Codex + GPT-5.6 Terra: 비용 −24.7%, Pass@1 +0.9
- Codex + GPT-5.6 Sol: 비용 −26.1%, Pass@1 +1.6
- Copilot CLI + Sonnet 5: 비용 −18.4%, Pass@1 +2.6
퇴행 하나, 개선 넷, 전부 더 싸다. 거의 모든 곳에서 싸지고 품질은 대체로 평평하거나 약간 나아지는 이 패턴이, 잘 겨냥된 낭비 제거 도구의 모습이다. 모델을 더 똑똑하게 만드는 게 아니다. 같은 교훈에 두 번 값을 치르지 않게 막는 것이다.

세 가지 메커니즘, 하나의 발상
README의 문제 규정 문장이 논지 전체다. 코딩 에이전트는 작업을 끝내도록 만들어졌지, 작업을 싸게 유지하도록 만들어지지 않았다. 매 턴마다 에이전트의 지시문, 로드된 도구, 지금까지의 대화에 다시 값을 치른다.
마이크로 스킬: 저장소가 어떻게 돌아가는지 기억한다. 세션은 같은 사실을 계속 재발견한다. 먼저 실행해야 하는 빌드 단계. 여기서 통하는 명령의 표기. 어떤 명령이 필요로 하는 환경 변수. 생성 파일이 놓이는 위치. 마이크로 스킬은 두 곳에서 이것을 배운다. 세션을 넘나들며 반복되는 실패, 그리고 세 번째 세션마다 최근 세션을 검토해 사실을 제안하는 모델. 사실은 세 세션이 확인해준 뒤에야 컨텍스트로 승격된다.
그 확인 임계값이 내가 가장 마음에 드는 설계 디테일이다. 기억과 소문을 가르는 차이다.
도구 정리: 이 저장소가 쓰지 않는 도구를 보내지 않는다. 코딩 에이전트는 큰 도구 세트를 달고 나온다. 노트북을 건드리지 않는 저장소에 노트북 도구는 필요 없고, 쓰지 않는 도구는 매 턴 값을 치른다. 도구 정리는 에이전트 자체 설정을 통해 그것들을 제거한다. 에이전트가 아무것도 모르는 채로 작동하는 이유다.
실패 루프 개입: 루프를 알아챈다. 같은 오류가 세 번 나면 다른 접근을 시도하라는 넛지가 뜬다. 가장 싼 메커니즘이자 아마 가장 값어치 있는 메커니즘이다. 실패 루프야말로 에이전트가 가장 적은 산출에 가장 많은 돈을 태우는 곳이기 때문이다.
아무도 하지 않는 회계 디테일
'작동 방식' 절의 한 줄이 헤드라인 숫자가 왜 믿을 만한지 설명한다. 세션의 토큰 대부분은 캐시된 재읽기이므로 비용은 캐시 가격으로 계산하고, 플러그인 자체의 모델 호출도 포함한다.
드문 정직함이다. 자기 오버헤드를 회계 밖에서 청구하면서 절감을 보고하는 도구는 측정이 아니라 마케팅이다. 캐시 재읽기를 캐시 가격으로 세는 것은 문제 규정도 바꾼다. 에이전트 세션에서 비싼 부분은 새로 들어온 토큰이 아니라 누적이다.
설치하기
이미 쓰는 에이전트용 플러그인이고, 클론에서 실행한다. PATH에 Python 3.10 이상이면 되고, 자체 API 키는 없으며, 자격 증명은 절대 건드리지 않는다.
git clone https://github.com/microsoft/TokenEconomizer.git
claude plugin marketplace add "$PWD/TokenEconomizer"
claude plugin install tokeneconomizer@tokeneconomizer
Codex와 Copilot CLI에도 대응 명령이 있고(codex plugin marketplace add, copilot plugin install), opencode도 지원한다. 그다음 에이전트 안에서 /tokeneconomizer:status로 상태를 확인한다. 설정에서 중요한 점 두 가지. 플러그인이 클론에서 실행되므로 폴더를 클론한 자리에 그대로 둬야 하고, Claude Code에서는 기계마다 한 번, 그리고 Claude Code를 업데이트할 때마다 /tokeneconomizer:toolprune refresh-catalog를 다시 돌려야 한다. 도구 카탈로그가 버전별로 다르기 때문이다.
Codex에서는 폴더를 신뢰하겠냐는 질문과 훅을 검토하라는 요청이 나온다. 훅은 다음 세션부터 적용되므로 종료하고 다시 시작해야 한다. 설치에서 가장 우아하지 않은 부분이고, 대충 넘기지 말고 제대로 하는 게 좋다.
하지 않는 일
모델도, 가중치도, 에이전트의 코드도 바꾸지 않는다. 블랙박스라고 부르는 이유가 그것이다. 하는 모든 일은 세션 시작 시점의 컨텍스트와 에이전트 자체 설정을 통해 이뤄진다.
한 번만 건드리는 저장소에서는 도움이 안 된다. 경제성은 명시적으로 "이어지는 세션들에서 회수된다"는 것이고, 처음 두세 세션은 투자라는 뜻이다. 매주 다른 저장소를 도는 일이라면 이건 틀린 도구이고, 논문도 그렇게 말할 것이다.
그리고 품질 문제를 해결하지 않는다. 한 조합은 약간 나빠졌다. 낭비를 없애는 것은 에이전트가 무엇에 돈을 쓰는지를 바꾸지, 얼마나 잘 생각하는지를 바꾸지 않는다. 두 축 모두에서 매번 공짜 점심을 기대할 이유는 없다.
측정에 관한 주의 하나. 이걸 믿기 전에 통제 주간을 먼저 돌려라. 에이전트 세션의 토큰 수는 노이즈가 많고, 유난히 생산적인 한 주를 보낸 저장소는 무슨 플러그인을 깔았든 비용 절감처럼 보인다. 하루 비용이 아니라 완료된 작업당 비용을 비교하고, 작업 목록은 최대한 일정하게 유지하라. 논문의 서른 셀은 쓸 만한 사전 확률이지, 자기 베이스라인을 대신하지 않는다.
왜 이것이 내년의 모양인가
에이전트 요금은 모델 비용이 내려가는 이야기였다. 대부분의 팀에게 그건 틀린 레버다. 청구서는 토큰 단가가 아니라 에이전트가 얼마나 다시 읽는지가 지배하기 때문이다. 더 싼 모델로 25% 아끼는 것도 좋다. 빌드 명령을 다시 발견하지 않는 것으로 25% 아끼는 것은 구조적이고, 더 싼 모델과 경쟁하지 않고 곱해진다.
우리는 2년을 프롬프트 최적화에 썼다. 여기 숫자는 다음 2년이 세션 최적화에 관한 것이 될 거라고 말한다. 무엇이 컨텍스트에 들어가고, 어떤 도구가 로드되고, 언제 루프를 끊을 것인가. 어느 것도 더 나은 모델을 요구하지 않고, 그래서 잘 될 가능성이 높다.
한 저장소에서 한 달에 열 번 넘게 에이전트를 돌린다면, 설치하고 일주일치 자기 청구서를 재보라. 흥미로운 숫자는 논문의 18~31%가 아니다. 당신의 세션 중 몇 개가 이미 알고 있던 것을 재발견하고 있었는지다.