방 안에서 가장 싼 모델이야말로 주목해야 할 모델이다

방 안에서 가장 싼 모델이야말로 주목해야 할 모델이다

Anthropic은 10월 7일에 Claude Haiku 5.5를 공개했다. 스스로 화제가 되는 종류의 발표는 아니다. Haiku는 Claude 제품군의 작은 구성원으로, 지루한 일을 처리하는 역할을 맡고 있으며, 소형 모델 발표는 좀처럼 헤드라인이 되지 않는다. 그래도 이번 것은 한 번 더 볼 가치가 있다. 이유는 숫자 하나다. 운영 비용이 Haiku 4.5보다 약 75퍼센트 낮다.

이미 저렴한 모델의 비용을 4분의 3이나 깎으면 무엇을 할 가치가 있는지가 달라진다. 어떤 기능이 사실상 무료라면, 그 기능을 아껴 쓸 이유가 사라진다.

왜 소형 모델이 결정적인가

지금 출시되는 흥미로운 AI 시스템 대부분은 단일 모델이 아니다. 오케스트레이션이다. 큰 모델이 계획을 세우고, 여러 소형 모델이 개별 단계를 맡는다. 이 문서를 요약하고, 이 티켓을 분류하고, 이 데이터베이스 쿼리에 답하고, 이 코드 변경을 확인한다. 공은 큰 모델이 가져간다. 물량은 소형 모델이 소화한다.

즉, 에이전트형 제품의 경제성은 플래그십이 아니라 저렴한 계층에 달려 있는 경우가 많다. 서브에이전트가 몇 센트라면 더 많이 두고, 더 여러 번 재시도하고, 체인을 더 길게 가져갈 수 있다. 몇 달러라면 희소성을 전제로 설계하게 되고, 그 희소성은 더 나쁜 제품으로 나타난다. 검사가 줄고, 루프가 짧아지고, 두 번째 접근을 시도하려는 의지가 약해진다.

Haiku 5.5가 실제로 제공하는 것

Haiku 5.5의 가격은 Haiku 5와 같다. 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러이며, 캐시 읽기는 0.20달러다. Anthropic은 대부분의 작업에서 비용이 최대 30퍼센트 줄고 Claude Code 안에서 사용량이 30퍼센트 늘어난다고 말한다. 또 조정 가능한 effort 설정을 갖춰, 모델이 답하기 전에 얼마나 깊이 생각할지 조절할 수 있다. 깊이보다 비용을 최적화할 때 유용한 다이얼이다.

Anthropic은 이를 요약, 데이터베이스 쿼리, 분류, 코딩 서브에이전트 작업에 맞춰 배치하고, 모델 카드가 CB-2와 Autonomy-2 임계값을 넘지 않으며 치명적 정렬 실패 위험이 낮다고 밝힌다. 모델을 배포하기 전에 승인이 필요한 팀에게 이 세부 정보는 장식이 아니다. 출시하느냐, 검토 대기열에서 기다리느냐의 차이다.

조정 가능한 effort 설정이 가장 저평가된 부분이다. 같은 모델이 아주 다른 두 가지 일을 맡게 해준다. 대량 필터링을 위한 빠르고 저렴한 처리와, 필터를 통과한 사례를 위한 더 느리고 신중한 처리다. 먼저 저렴하게, 그다음 신중하게라는 이 패턴이 대부분의 비용 효율적인 파이프라인이 결국 만들어지는 방식이다.

5.5 세대는 계속 쌓인다

Haiku 5.5는 Opus 5.5에 이어 5.5 제품군의 두 번째 모델이다. 10월 업계 전반의 흐름은 일관된다. 추론은 조금씩 저렴해지고, 소형 모델은 조금씩 좋아지고, 일상적인 AI 작업을 떠받치는 바닥은 계속 내려간다. OpenAI는 GPT-6을 모두에게 보냈고, Google은 Gemini 4 Argon을 미리 선보이며 가격을 낮췄고, Anthropic은 자사 라인업의 하단을 깎았다.

이 움직임 중 어느 것도 단독으로는 극적이지 않다. 함께 보면, 뛰어난 지능이 상품화된 입력이 되어 가고 가치는 그 주변의 모든 것으로 이동하는 시장을 보여준다. 데이터, 워크플로, 평가, 그리고 신뢰다. 모델 자체가 저렴해지면, 차별화 요소는 애초에 모델이 아니었던 부분들이다.

라우팅이 규율이 된다

플래그십과 소형 모델의 가격 차가 클 때, 가치가 가장 높은 엔지니어링 결정은 어느 모델을 쓸지가 아니라 어느 단계에 어느 모델을 쓸지인 경우가 많다. 잘 만든 시스템은 쉬운 80퍼센트의 요청을 저렴한 계층으로 보내고, 비싼 모델은 정말로 필요한 사례를 위해 남겨 둔다.

이것은 라우팅 문제이고, 보이는 것보다 어렵다. 답을 얻기 전에 난이도를 판단해야 하며, 즉 각 요청이 어디로 갈지 정하는 분류기나 휴리스틱을 만들어야 한다. 한 방향으로 틀리면 사소한 일에 돈을 낭비한다. 다른 방향으로 틀리면 중요한 요청의 품질을 떨어뜨린다.

75퍼센트 싼 소형 모델은 그 트레이드오프의 안전한 쪽을 넓혀 준다. 더 공격적으로 라우팅할 수 있고, 검증 패스로 실수를 잡아낼 수 있다. 라우팅 결정과 검사가 이제 둘 다 저렴하기 때문이다.

절약한 돈으로 무엇을 할까

뻔한 수는 더 많은 일을 소형 모델로 돌리는 것이다. 더 미묘한 수는 너무 비싸다고 포기했던 작업을 다시 검토하는 것이다. 모든 지원 티켓을 읽거나, 카탈로그의 모든 이미지에 라벨을 붙이거나, 모든 문서의 초안을 쓰는 시스템은 예전에는 예산 결정이었다. 새 가격에서는 그런 결정 중 일부가 뒤집힌다.

함정도 있다. 싸진 토큰은 팀이 평가를 건너뛰고 저품질 출력을 대량으로 흘려보내도록 유혹한다. 비용이 내려간다고 오류가 공짜가 되지는 않는다. 오히려 실패 양상이 “시도할 돈이 없었다”에서 “다 해봤는데 아무도 확인하지 않았다”로 옮겨 가기 때문에 측정이 더 중요해진다.

이를 잘 다루는 팀은 절약한 돈의 일부를, 싸진 토큰이 비로소 감당 가능하게 만든 지루한 인프라에 쓴다. 샘플링, 평가, 가드레일이다. 가격 인하를 출력을 늘리는 데 쓰느냐, 품질을 늘리는 데 쓰느냐의 차이가 여기에 있다.

왜 가격 인하는 보이는 것보다 큰가

이런 가격 인하의 복리 효과는 잠시 짚고 넘어갈 만하다. 팀은 모델 호출에 고정 예산을 쓰지 않는다. 품질 목표를 기준으로 쓴다. 그리고 호출 하나하나가 싸지면 그 차액을 챙기지 않는다. 목표를 높인다. 검사를 늘리고, 재시도를 늘리고, 문맥을 개선하고, 체인을 길게 한다. 75퍼센트 인하는 청구서를 낮추고 팀이 시도하려는 야심을 높인다.

이전의 가격 인하도 실제로 그렇게 흘러갔다. 추론 모델이 싸지자 시스템은 더 많은 단계를 추론하기 시작했다. 문맥이 싸지자 시스템은 더 많은 문서를 투입하기 시작했다. 작업 한 단위의 가격이 그 위에 세워지는 시스템의 형태를 정하고, 더 싼 단위는 더 신중한 설계를 사들인다.

에이전트에 중요한 버전은 특히 직접적이다. 에이전트는 루프이고, 루프의 비용은 단계당 비용 곱하기 단계 수다. 단계당 비용을 충분히 깎으면 루프를 더 오래 돌릴 수 있고, 이는 유용한 에이전트와 짜증나는 에이전트를 가르는 것의 대부분이다. Haiku 5.5는 끝까지 돌릴 가치가 있는 루프를 향한 한 걸음이다.

조용한 주장

프런티어 모델 발표는 관심을 끈다. 하지만 AI 제품이 무엇을 할 수 있는지를 결정하는 모델은 대개 소형이다. Haiku 5.5는 최하위 계층의 75퍼센트 인하가 각주가 아니라는 점을 상기시킨다. 그것은 경제적으로 가능한 일이 바뀌는 것이고, 그런 변화는 보통 몇 달 뒤 출시된 제품에서, 아무도 모델 출시의 공으로 돌리지 않는 기능으로 나타난다.