GitHub에서 가장 인기 있는 새 기술은 말을 줄이는 것

GitHub에서 가장 인기 있는 새 기술은 말을 줄이는 것

이번 주 GitHub에서 가장 빠르게 성장한 저장소는 caveman이라는 Go 프로젝트로, 스타 수가 112,000개를 넘었다. 그 전제는 우연히도 맞아떨어지는 농담이다. 슬로건은 이렇다. 적은 단어로 충분한데 왜 많은 단어를 쓰는가. 코딩 에이전트를 위한 skill 겸 프록시이며, 모델이 원시인처럼 말하게 해서 token 사용량을 약 65% 줄인다고 주장한다.

이 농담을 걷어내면 진짜 엔지니어링 주장이 남는다. 코딩 에이전트가 주고받는 내용 대부분은 정보가 아니다. 발판, 예의, 되풀이, 그리고 언어 모델이 기본적으로 하는 공손한 서두다. 의미를 버리지 않고 이것들을 버릴 수 있다면, 세션은 더 저렴해지고 컨텍스트 윈도는 더 오래 간다.

이 농담은 진단이기도 하다. 어시스턴트를 더 멍청하게 들리게 만드는 것이 승리 수라면, 병목은 지능이 아니라 오버헤드다.

청구서는 컨텍스트이지 모델이 아니다

에이전트 워크로드가 실제로 어떻게 비싸지는지 체득하려면 시간이 걸린다. 직관적인 모델은 답변마다 돈을 내니 긴 답변이 더 비싸다는 것이다. 실제 모델은 모델이 주의를 기울여야 하는 컨텍스트의 token마다 돈을 내며, 그 컨텍스트는 턴마다 커진다는 것이다.

에이전트가 저장소를 읽고, 몇 개의 명령을 실행하고, 결과를 보고, 코드를 작성하고, 오류 메시지를 읽을 즈음이면 대화는 거대해져 있다. 새 턴마다 전체 이력을 끌고 간다. 열 번째 단계는 첫 번째보다 훨씬 비싸다. 모델이 느려져서가 아니라 짊어지는 것이 많아져서다.

그래서 token을 65% 줄이는 도구는 사소한 최적화가 아니다. 몇 시간 동안 도는 에이전트에 적용하면, 예산 안에 들어오는 세션과 중간에 다시 시작해야 하는 세션의 차이다.

같은 문제를 공격하는 세 가지 방법

같은 흐름을 타는 다른 프로젝트들은 다른 각도에서 이 문제를 공격하며, 나란히 비교하면 시사하는 바가 크다.

Headroom은 일주일 만에 약 13,000 스타를 얻어 약 39,000에 도달한 Python 프로젝트로, 라이브러리, 프록시 또는 MCP 서버로 실행되는 컨텍스트 압축 계층이다. 여섯 가지 압축 알고리즘을 제공하고 60%에서 95%의 감소를 주장한다. 중요한 설계 선택은 로컬 우선이고 가역적이라는 점이다. 정보를 파괴하는 압축은 압축하지 않는 것보다 나쁘기 때문이다. 압축을 풀 수 있다는 것은 에이전트가 묻어둔 것을 다시 꺼낼 수 있다는 뜻이다.

Xerj는 구체적이고 매우 비싼 습관을 겨냥한다. 코드, 문서, 로그, PDF를 명령 하나로 색인하는 Rust 도구로, 에이전트가 grep과 sed 탐색에 token을 태우는 대신 구조화된 색인에 질의할 수 있게 한다. 검색하고 읽고 다시 검색하는 루프는 몇 줄의 관련 코드를 위해 막대한 컨텍스트를 소비한다. 이 프로젝트는 grep보다 약 40배 적은 token을 쓴다고 주장하며, Elasticsearch 호환을 유지해서 기존 클라이언트가 계속 동작한다.

셋을 나란히 놓으면 패턴이 보인다. Caveman은 모델이 말하는 방식을 바꾼다. Headroom은 무엇이 기억되는지를 바꾼다. Xerj는 모델이 어디를 보는지를 바꾼다. 절약되는 token은 같은 token이지만 지렛대가 다르며, 성숙한 도구는 결국 세 가지 모두를 필요로 한다.

원시인 묘책이 어쨌든 통하는 이유

원시인식 접근은 사람들이 말하는 만큼 잘 통해서는 안 되는데, 그럼에도 통하는 이유를 이해할 가치가 있다.

명령으로 조정된 모델은 특정 스타일로 도움을 주도록 훈련된다. 답하기 전에 질문을 되풀이하고, 방금 한 일을 요약하고, 완전한 문장으로 추론을 설명하고, 친근한 말로 맺고, 모든 것에 제목을 붙인다. 어느 것도 작업이 요구하는 바가 아니며, 전부 token으로 청구된다.

예의를 버리고 의미를 지탱하는 말만 남기라고 모델에 지시하면, 겉보기에는 거칠지만 거의 같은 것을 전달하는 출력을 얻는다. 의식이 사라진 만큼 정보 밀도가 올라간다. 간결한 엔지니어의 메모가 열 단어로 백 단어짜리 회의 안건보다 많은 것을 말할 수 있는 것과 같은 이치다.

다만 트레이드오프는 실재한다. 간결한 출력은 사람이 훑어보기 어렵고, 모호한 약어는 오해를 낳아 아끼는 것보다 더 큰 비용을 만든다. 의도를 명시하게 하는 말을 걷어내는 것은 주변 컨텍스트가 충분한 의미를 담고 있다는 내기이며, 그 내기는 바로 작업이 예외적일 때 실패한다. 압축은 반복적인 작업에서 가장 도움이 되고 뉘앙스가 중요한 곳에서 가장 해롭다. 어디에나 적용하기 전에 기억할 만한 규칙이다.

주의력의 수요와 공급

이 범주가 지금 폭발하는 데는 구조적 이유가 있으며, 어떤 특정 저장소와도 무관하다.

컨텍스트 윈도는 커졌지만, 그것을 채우려는 욕구도 커졌다. 저장소 전체를 읽고, 긴 작업 이력을 유지하고, 하위 에이전트를 조율하는 에이전트는 주어진 공간을 모두 소비한다. 컨텍스트를 소비하는 것이 일을 해내는 방식이기 때문이다. 용량이 늘어날 때마다 몇 주 안에 흡수되고 압박이 다시 돌아온다.

이는 익숙한 역학이다. 고속도로를 넓힌다고 장기적으로 교통량이 줄지 않는다. 사람들은 통근이 싸진 만큼 더 많이 통근하기 때문이다. 컨텍스트도 같다. 더 큰 창은 부족을 끝내지 않는다. 합리적인 사용량의 정의를 다시 쓰고, 부족은 더 높은 수준에서 다시 나타난다.

즉 압축은 임시방편이 아니다. 스택의 영구적인 계층이며, 이를 제대로 만든 프로젝트는 데이터베이스와 캐시와 비슷한 위치에 서게 될 것이다. 눈에 띄지 않고, 화려하지 않으며, 사람들이 의존하기 시작하면 제거할 수 없는 존재다.

실제로 무엇을 봐야 하는가

여기서 스타 수는 나쁜 지침이다. 재미있는 이름이 좋은 알고리즘보다 빨리 퍼지기 때문이다. 이 중 무엇이든 도입하기 전에 세 가지를 확인할 가치가 있다.

첫째는 가역성이다. 되돌릴 수 없는 손실 압축은 버그를 찾기 어렵게 만든다. 에이전트가 중요했던 세부를 빠뜨린 요약에서 추론하고 있을 수 있기 때문이다. 둘째는 적용 범위다. 모든 트래픽을 무차별적으로 압축하는 프록시는 결국 의미를 지탱하는 무언가를 삼키고, 그 실패는 도구 버그가 아니라 모델 환각처럼 보인다. 셋째는 측정이다. token이 65% 줄어든다는 것은 특정한 종류의 세션에 관한 주장이며, 유일하게 의미 있는 숫자는 자신의 트래픽에서 측정한 값이다.

더 깊은 요점은 업계가 2년 동안 능력을 좇았고, 이제 효율이 다음 실용적 승리가 있는 곳임을 깨닫고 있다는 것이다. 정확히 답하는 모델은 기본 조건일 뿐이다. 10분의 1 비용으로 정확히 답하는 파이프라인이 제품이다. Caveman, Headroom, Xerj는 모두 같은 진실을 가리킨다. 에이전트 작업에서 주의력이 희소 자원이고, 나머지는 모두 장부 정리다.