마이크로소프트 Decision-1: 큰 모델 대신 선택을 하는 작은 모델

마이크로소프트는 2026년 10월 초 당신과 말하고 싶어 하지 않는 모델을 조용히 추가했다. Microsoft-Decision-1이라 부르며, Qwen3.5-9B 위에 만들어졌고 유일한 일은 선택이다. 요청과 선택지 묶음을 주면 결정을 돌려준다. 긴 글을 쓰지 않고 대화하지 않는다. 빠르고 저렴하게 선택하며, 이 좁음이 핵심이다.

이 설명은 대부분의 AI 제품이 연산을 어디에 쓰는지 보기 전까지는 시시하게 들린다. 성숙한 시스템의 호출 상당수는 어렵지 않다. 비싼 모델 앞에 있는 라우팅 호출, 의도 확인, 분류 단계다. 그것에 플래그십 가격을 지불하는 것은 낭비이고, 그 낭비는 조용히 청구서를 두 배로 만든다.

AI 시스템에서 가장 흔한 일

실제 트래픽을 다루는 파이프라인은 대부분 작은 결정을 내린다. 이 메시지는 어떤 의도인가. 지원인가 영업인가. 긴 답이 필요한가 한 줄이면 되나. 사람에게 올려야 하나. 각각은 라벨이 붙은 선택지 중의 선택이고, 각각은 지금 그 뒤에서 실제 질문에 답할 거대한 모델이 맡는다.

선택만을 위해 존재하는 모델은 경제를 바꾼다. 9B 모델이 짧은 분류를 돌리는 것은 프런티어 모델이 같은 일을 하는 것보다 훨씬 싸고 빠르다. 라우팅이 정확하면 비싼 모델은 정말 필요할 때만 발동하고, 시스템 전체의 비용과 지연이 내려간다.

{{INLINE1}}

"작은 모델"이 흥미로운 부분

크기가 이야기다. 업계는 2년 동안 더 큰 숫자를 좇았고, 지난 1년의 역류는 모델을 일에 맞추는 방향이다. 90억 파라미터 모델은 자체 호스팅이 가능할 만큼 작고, 상시 구동이 가능할 만큼 싸며, 병목이 되지 않고 요청 경로에 놓일 만큼 빠르다. 이는 '최선의 답'과 다른 설계 목표이고, 많은 프로덕션 시스템이 실제로 가진 목표다.

Qwen3.5-9B 위에 만든 것도 주목할 만하다. 마이크로소프트에는 자체 모델 계열이 있는데도 여기서는 오픈 기반에 손을 뻗어 특화했다. 실용적 선택이다. 기반은 충분히 유능하고, 의사결정용 미세조정이 부가가치이며, 결과는 플래그십이 아니라 도구다. 강한 오픈 기반이 이제 누구나 위에 세울 수 있는 인프라임도 보여준다.

발표회가 없는 라우팅 계층

의사결정 모델은 기술 스택에서 발표회가 거의 없는 계층을 가리킨다. 다음에 무슨 일이 일어날지 정하는 계층이다. 지연 예산, 비용 상한, 폴백, 에스컬레이션 규칙이 거기 살고, 헤드라인 모델보다 사용자 경험을 더 많이 형성한다. 라우팅이 좋은 시스템은 빠르고 믿음직하다. 나쁜 시스템은 비싸고 느리게 느껴진다. 뒤에 훌륭한 모델이 있어도 그렇다.

이 범주는 커질 것이다. 에이전트 파이프라인이 단계를 늘릴수록 요청당 작은 결정이 늘고, 전용의 저렴한 선택기의 필요가 강해진다. 내년의 흥미로운 경쟁은 누가 가장 똑똑한 모델을 가졌는가가 아니라, 누가 가장 싸고 믿을 만한 모델 묶음을 짤 수 있는가일 수 있다.

도입 전에 측정할 것

의사결정 모델은 결정이 좋을 때만 유용하고, 여기서 품질은 문장력이 아니다. 측정할 가치가 있는 것은 평범하고 결정적이다. 자기 범주에서 얼마나 정확한가, 범용 집합이 아니라. 입력이 모호하거나 어떤 범주에도 속하지 않을 때 어떻게 하는가. 담당 밖을 물었을 때 어떻게 하는가, 왜냐하면 추측하며 기권하지 않는 선택기는 파이프라인을 조용히 오염시킨다. 그리고 실제 트래픽에서 비용이 얼마인가, 싼 모델을 어디에나 쓰면 그것도 한 줄의 비용이다.

지연은 따로 언급할 가치가 있다. 라우팅 모델은 크리티컬 패스에 앉으므로 더하는 모든 밀리초가 모든 요청에 더해진다. 순식간에 답하는 모델은 자유롭게 부를 수 있다. 1초 걸리는 모델은 주변 아키텍처를 빚기 시작한다. 선택기에게 속도는 좋은 속성이 아니라 얼마나 자주 쓸 수 있는지를 정하는 속성이다.

놓치기 쉬운 실패 유형이 있다. 작은 라우팅 오류는 쌓인다. 한 번의 오라우팅이 요청을 잘못된 경로로 보내고, 그 경로가 비싸거나 느리면 사용자가 느낀다. 그래서 의사결정 모델은 보통 유일한 관문이 아니라 가드레일과 폴백 뒤에 놓인다. 목적은 어려운 가장자리에서 사람이 설계한 규칙을 없애는 것이 아니라, 쉬운 다수의 비용과 지연을 줄이는 것이다.

폴백 패턴

Decision-1 같은 모델의 가장 흔한 사용은 계단식이다. 싼 선택기가 먼저 요청을 살핀다. 명확한 사례는 작은 모델이 직접 답한다. 경계 사례는 더 큰 모델로 올린다. 정말 어려운 사례는 사람이나 전문 도구로 보낸다. 각 층이 잘하는 것을 맡고, 비싼 자원은 쉬운 필터가 필요하다고 할 때만 발동한다.

이 패턴은 새롭지 않다. 콜센터, 스팸 필터, 검색 랭킹이 오래 이렇게 움직여 왔다. 새로운 것은 언어 모델이 자연어 의도의 1차 처리를 맡을 수 있게 된 점이다. 예전에는 취약한 규칙이나 풀사이즈 모델이 필요했다. 이는 실제 능력의 변화이고, 작은 의사결정 모델이 진기함이 아니라 스택 곳곳에 나타나는 이유다.

여기서 전문화 모델이 범용을 이기는 이유

선택을 위해 훈련된 모델에는 과소평가되는 장점이 있다. 아무도 요청하지 않은 것에 출력을 낭비하지 않는다. 범용 어시스턴트는 라우팅을 맡으면 자신을 설명하고 얼버무리며, 라벨 하나면 될 곳에 문단을 낸다. 이 장황함은 성가신 데 그치지 않고 토큰과 지연을 먹고, 출력을 프로그램이 파싱하기 어렵게 만든다. 깨끗한 선택을 돌려주는 작은 의사결정 모델은 더 싸게 돌고 시스템에 넣기 쉽다.

이것이 특화 소형 모델의 전부다. 넓이를 한 일의 신뢰성과 맞바꾸고, 그 일이 흔하고 비용이 매번 들기에 이긴다. 수천 개의 결정이 같은 좁은 일에 걸릴 때, 충분히 좋은 전문화 모델은 과하게 자격을 갖추고 과하게 비싼 범용을 빠르게 앞선다.

그것이 보내는 신호

Decision-1은 작은 릴리스에 분명한 메시지를 담는다. 모든 문제가 가장 큰 모델을 받을 자격이 있지는 않다. AI 제품을 만드는 기업은 큰 모델로 어려운 사례를, 작은 전문가로 나머지를 맡는 포트폴리오를 엮는 쪽으로 가고 있다. 이런 모델은 데모에 나오지 않아 간과되기 쉽다. 하지만 청구서에, 그리고 제품의 손맛에 나타난다. 그곳이 AI 기능이 실제 사용자 접촉을 견디는지를 정하는 자리다.