微软 Decision-1：用一个小模型替大模型做选择题

微软在 2026 年 10 月初悄悄加了一个不想和你说话的模型。它叫 Microsoft-Decision-1,建立在 Qwen3.5-9B 之上,唯一的活儿是做选择。给它一个请求和一组选项,它返回一个决定。它不写长文,不做对话。它做出选择,又快又便宜,而这种「窄」正是重点。

这个说法听起来平淡,直到你看清大多数 AI 产品把算力花在哪。一个成熟系统里很大一部分调用并不难。它们是路由调用、意图检查、分类步骤,站在昂贵模型的前面。为这些支付旗舰价格是一种浪费,而这种浪费会悄悄让账单翻倍。

AI 系统里最常见的工作

任何处理真实流量的流水线,主要都在做小决定。这条消息属于哪个意图。这是支持问题还是销售问题。这个请求需要长回答还是一句话。是否该升级给人类。每一个都是在带标签的选项里做选择,而每一个现在都由那个随后要回答实际问题的超大模型来回答。

一个只为选择而存在的小模型改变了经济账。9B 模型跑一次短分类,比前沿模型做同样的活便宜得多、也快得多。如果路由做得准,昂贵模型只在真正需要时触发,整条系统的成本和延迟都会下降。

{{INLINE1}}

「小模型」才是有意思的部分

规模才是故事。行业花了两年追逐更大的数字,而过去一年的一股逆流,是让模型匹配任务。九十亿参数的模型小到可以自托管,便宜到可以常驻运行,快到可以放进请求路径而不成为瓶颈。这与「最好答案」是不同的设计目标,而很多生产系统真正要的就是这个目标。

把它建立在 Qwen3.5-9B 上也值得一提。微软有自己的模型线,却在这里伸手拿了开源的基座并做了专门化。这是务实的选择:基座模型够用,面向决策的微调才是增值,O 结果是一个工具而非旗舰。它也说明,一个强大的开源基座如今是所有人都能搭的基础设施,包括那些本可以自研的公司。

没人做发布会的路由层

决策模型指向技术栈里很少开发布会的那一层:决定接下来发生什么的那层。延迟预算、成本上限、回退和升级规则都住在那里,而它们对用户体验的影响超过那个头条模型。路由好的系统显得快而可靠;路由差的系统显得又贵又慢,即使背后是很好的模型。

这个品类会成长。随着智能体流水线增加更多步骤,每个请求里的小决定变多,对专门、廉价选择器的需求就更强。明年有意思的竞争,可能不是谁有最聪明的模型,而是谁能拼出最便宜可靠的一组模型。

采用之前该测什么

决策模型只有决定做得好才有用,而这里的质量不在文采。值得测的事情很琐碎也很关键。它在你自己那些类别上的准确率如何,而不是在泛化集合上。当输入含糊或不属于任何类别时它怎么做。当被问到职责之外的事时它怎么办,因为一个胡乱猜而不弃权的选择器会悄悄毒害整条流水线。以及按你真实流量的成本是多少,因为到处都用便宜模型,依然是一笔开销。

延迟值得单独提。路由模型坐在关键路径上,所以它增加的每一毫秒都会加到每个请求上。零点几秒内回答的模型可以被自由调用;需要一秒钟的模型则开始重塑围绕它的架构。对一个选择器来说,速度不是好属性,而是决定你能多频繁使用它的属性。

有个容易忽略的失效模式。小的路由错误会累积。一次错误路由把请求送向错误的路径,如果这条路径昂贵或缓慢,用户就会感受到。这就是为什么决策模型通常部署在护栏和回退之后,而不是作为唯一的闸门。目的不是从硬边界上移除人工设计的规则,而是降低简单多数情况的成本和延迟。

回退模式

使用 Decision-1 这类模型最常见的方式是级联。一个廉价选择器先检查请求。清晰的案例由小模型直接回答。边缘案例上交更大的模型。真正困难的交给人类或专门工具。每一层处理自己擅长的部分,昂贵资源只在简易筛选器说需要时才触发。

这个模式不新。呼叫中心、垃圾邮件过滤和搜索排序都是这么运作的。新的是语言模型现在能对自然语言意图做第一遍处理,而这过去要么靠脆弱规则,要么靠全尺寸模型。这是真实的能力转变,也是为什么小决策模型正在技术栈各处出现,而不是一种新奇玩意。

为什么专才在这里胜过通才

一个专门训练来选择的模型有一个容易被低估的优势:它不会在没人要的东西上浪费输出。一个通用助手被交予路由任务时,倾向于解释自己、含糊其辞,并产出一段文字,而一个标签就够了。这种啰嗦不只是烦人,它消耗 token 和延迟,还让输出更难被程序解析。返回干净选择的小决策模型运行更便宜,也更容易接进系统。

这就是专门小模型背后的全部赌注。你用广度换一个工作上的可靠性,并因为这项工作又常见又便宜而获胜。当成千上万个决定都压在同一个狭窄任务上时,一个只是够好的专才会迅速击败一个资历过高、价格过高的通才。

它释放的信号

Decision-1 是一个小发布,带着清晰的信息:不是每个问题都该用最大的模型。做 AI 产品的公司越来越在把一组模型接起来,大模型处理难题,小专家处理其余。这类模型容易被忽略,因为它们从不出现在演示里。它们出现在账单里,以及产品的手感里。而那才是决定一个 AI 功能能否在真实用户面前存活的所在。