토큰의 71.5%, 청구서의 23%: 한 게이트웨이의 9월 장부

게이트웨이 하나, 한 달, 불편한 비율 하나

Vercel은 10월 15일 9월 트래픽을 담은 AI Gateway 프로덕션 인덱스를 발표했다. 헤드라인 숫자는 읽기 쉽게 틀린다. 오픈 웨이트 모델이 게이트웨이를 거친 토큰의 71.5%를 처리했고, 비용은 약 23%를 차지했다.

빨리 읽으면 오픈 모델의 승리 투어처럼 들린다. 천천히 읽으면 더 쓸모 있는 이야기가 나온다. 클로즈드 모델에 쓴 1달러마다 약 30센트가 여덟 배 많은 토큰을 샀다. 볼륨과 돈이 분리됐고, 그 분리가 이야기의 전부다.

늘 하던 단서부터 붙이자, 중요하니까. 한 회사의 게이트웨이고, 프로덕션 애플리케이션과 랩 사이에서 수십조 토큰을 나른다. 대형 랩의 엔터프라이즈 고객은 그 API를 직접 호출하는 경우가 많아 게이트웨이는 이들을 적게 센다. 비용은 정가로 추정했고 실제 청구서에는 할인이 붙는다. Vercel은 게이트웨이를 파는 회사이니 자기 사업을 채점하는 셈이다. 시장 전체의 센서스가 아니라 멀티 모델 팀이 실제로 하는 일의 좋은 표본으로 보면 된다.

싼 모델은 트렌드가 아니라 한 모델이다

보고서에서 가장 명확한 문장은 DeepSeek-V4.1-Flash에 관한 것이다. 9월 전체 토큰의 절반 가까이를 처리했고 비용은 2.6%였다. 토큰당 가격은 오픈 웨이트 평균의 약 5분의 1이었다.

그 한 문장이 71.5%를 다시 정의한다. 오픈 모델이 프로덕션을 점령하는 거대한 조류가 아니다. 상당 부분은 아주 싼 모델 하나가 아주 많은 일을 한 것이다. 이 인덱스에서 교훈을 뽑으려면, 그 교훈은 작업 라우팅에 관한 것이지 라이선스 이데올로기에 관한 것이 아니다.

돈 쪽도 구체적이다. 오픈 웨이트 비용 비중은 6월 약 5%에서 9월 거의 4분의 1로 늘었다. 작은 기저에서 네 배 이상 뛴 것이다. 하지만 그 증가분의 약 3분의 2는 비싼 오픈 모델에서 나왔고, Kimi K3가 선두였으며 각각 토큰당 오픈 평균의 최소 네 배를 받는다. 싼 모델은 볼륨을 만들고, 비싼 모델은 비용을 만든다. 오픈과 클로즈드 사이만이 아니라 오픈 카테고리 안에서도 그렇다.

게이트웨이 비용에서 Anthropic의 몫은 63.7%에서 43.9%로 떨어졌다. 처음으로 절반 아래다. 솔깃한 해석은 Anthropic이 일감을 잃었다는 것이다. 보고서는 반대라고 말한다. 프런티어 비용은 12월 이후 열 배로 늘었다. Anthropic은 훨씬 커진 파이에서 더 작은 조각을 가져가면서 더 많은 돈을 번다. 시장이 13배 커지는 동안 토큰당 평균 가격이 47% 떨어질 때 점유율 하락은 이렇게 생겼다.

모델 갈아타기는 이제 월간 습관이다

9월에 팀 둘 중 하나는 가장 많이 쓰는 모델을 바꿨다. 셋 중 하나는 가장 많이 쓰는 랩을 바꿨고, 인덱스는 이를 기록이라고 부른다. 두 숫자 모두 다섯 달 연속 올랐다.

엔터프라이즈 소프트웨어에서는 이상한 일이다. 인프라 선택은 보통 굳는다. 모델 선택은 반대로 가고 있고, 보고서는 그 메커니즘을 하나 제시한다. 12월 이후 최소 10억 토큰을 처리한 팀은 평균 42개의 서로 다른 모델을 썼다. 1천만에서 1억 토큰 사이의 팀은 평균 15개였다. 작은 팀도 여러 개를 섞어 쓴다.

이유는 지루하고 옳다. 작업마다 가격-품질 곡선이 완전히 다르다. 지원 티켓을 분류하고, 인보이스에서 필드를 뽑고, 고객에게 보낼 사과문을 쓰는 것은 서로 다른 세 가지 문제이고, 같은 모델, 같은 가격으로 풀 일이 애초에 아니었다.

운영상의 함의는 덜 지루하다. 모델 이름이 애플리케이션 서른 군데에 하드코딩돼 있으면 가격이 바뀔 때마다 리팩터링이다. 자체 평가가 붙은 라우팅 계층 뒤에 있으면 설정 변경이다. 동료의 절반은 매달 기본 모델을 다시 정한다. 스프린트 하나 없이 그걸 실행할 수 있는 팀이 절감액을 가져간다.

도입과 매출의 간극

9월의 두 번의 출시가 어떤 차트보다 이 점을 잘 보여준다.

TypeSafe AI의 의사결정 모델 Jev는 2주 만에 유료 팀의 35.3%에 닿았다. 게이트웨이 역사상 가장 빠른 도입이고, 2위인 Claude Sonnet 5.5의 18.1%에 거의 두 배다. 같은 기간에 가져간 비용은 0.27%였다. 빠른 의사결정을 위해 만든 모델이다. 싸고, 빠르고, 토큰을 적게 쓴다. 많은 팀이 써봤다. 비쌀 모델이 아니었다.

Opus 5.5는 반대로 갔다. 첫 2주에 게이트웨이 달러의 10분의 1 이상을 차지했고, 9월 출시 중 가장 큰 비용 비중이었다.

둘을 놓고 보면 오픈 대 클로즈드와 아무 상관 없는 2층 시장이 보인다. 한 층은 고빈도, 저위험 호출이고 정답당 비용이 가장 낮은 쪽이 이긴다. 다른 층은 저빈도, 고위험 호출이고 사람들은 마지막 몇 점의 품질에 돈을 낸다. 한 공급자가 한 층을 지배하고 다른 층에서는 보이지 않을 수 있으며, 둘 다 건강한 사업이 될 수 있다.

헤드라인에 아무도 안 넣는 중국 디테일

9월 중국에서 개발된 모델에 쓴 게이트웨이 비용의 거의 70%가 미국 기반 공급자를 거쳤다. 12월에는 10% 미만이었다. 대략적으로 중국 공급자를 거친 1달러마다 약 2.50달러가 미국 공급자를 거쳤다.

이건 지정학으로 포장된 라우팅 사실이다. 기업은 중국 오픈 모델의 가격과 미국 벤더의 청구, 지연 시간, 데이터 처리 태도를 함께 원한다. 게이트웨이는 바로 그 조합을 가능하게 하려고 존재하고, 돈은 국기가 아니라 조합을 따라갔다.

"오픈 모델이 이기고 있다"는 서사가 누구에게 묻느냐에 따라 복잡해진다는 뜻이기도 하다. 가중치는 중국 것일 수 있다. 청구서는 미국 것일 수 있다. 결정하는 팀은 아마 둘 중 어디에도 없다.

그래서 뭘 할까

세 가지, 그리고 어느 것도 오픈 웨이트에 대한 의견을 요구하지 않는다.

모든 AI 호출에 작업 태그를 붙여라. 보이지 않는 것은 라우팅할 수 없다. 대부분의 팀은 어느 기능이 가장 비싼지 대략은 알지만, 그 기능 안에서 어느 호출이 비싼지는 거의 모른다.

상위 세 작업을 모델 두 개씩에 물려 가격을 매겨라. 하나는 프런티어, 하나는 싼 것. 리더보드가 아니라 정답을 아는 실제 예시 스무 개로. 스무 개면 포맷을 깨뜨리거나 필드를 빠뜨린 교체를 아무도 모르게 넘어가는 걸 잡아낼 수 있다.

기본 모델이 분기 안에 바뀐다고 가정하라. 이 인덱스의 팀 절반은 지난달에 이미 바꿨다. 그걸 염두에 두고 설계하는 건 과잉 엔지니어링이 아니라 현재의 기준선이다.

진짜 결론은 화려하지 않다. 모델 선택은 매달 다시 논의되는 구매 결정이 됐고, 청구서는 API에 붙은 브랜드가 아니라 일의 어려운 부분을 따라간다. 1년 전보다 건강한 시장이고, 계획 세우기는 훨씬 더 짜증나는 시장이다.