房间里最便宜的模型,才是最该关注的那个

房间里最便宜的模型,才是最该关注的那个
Anthropic 于 10 月 7 日发布了 Claude Haiku 5.5。这不是那种自带热度的发布。Haiku 是 Claude 家族里的小个子,专门干那些枯燥的活儿,小模型的发布很少能上头条。但这次还是值得多看一眼,原因只有一个数字:运行成本比 Haiku 4.5 低了约 75%。
在一个本就已经很便宜的模型上再砍掉四分之三的成本,会改变哪些事值得做。当一项功能几乎免费时,你就不再精打细算地配给它。
为什么小模型才是关键
目前真正在落地的有意思的 AI 系统,大多不是一个模型,而是一套编排。大模型负责规划,几个小模型处理各个具体步骤:总结文档、给工单分类、回答数据库查询、检查代码改动。功劳归大模型,量却是小模型扛的。
这意味着,一个智能体产品的经济性往往取决于那层便宜的模型,而不是旗舰模型。如果子智能体只需几美分,你就能多用几个、多试几次、把链路拉得更长。如果它们要花上几美元,你就得围绕稀缺性来设计,而稀缺会体现在更差的产品上:更少的检查、更短的循环、更低的意愿去尝试第二种方案。

Haiku 5.5 到底带来了什么
Haiku 5.5 定价与 Haiku 5 相同,输入每百万 token 2 美元,输出每百万 token 10 美元,缓存读取为 0.20 美元。Anthropic 表示,它让大多数工作的成本最多降低 30%,在 Claude Code 中的可用量提升 30%。它还带有一个可调节的 effort 设置,让你能在模型回答前调整它思考的强度,当你追求成本而非深度时,这是一个很有用的旋钮。
Anthropic 将它定位用于摘要、数据库查询、分类和编码子智能体等工作,并指出其模型卡显示没有越过 CB-2 和 Autonomy-2 阈值,灾难性错位风险较低。对于需要在部署模型前先拿到批准信号的团队来说,这个细节不是摆设,它决定了你是能上线,还是只能在审批队列里等着。
可调节的 effort 设置是最被低估的部分。它让同一个模型能胜任两种截然不同的活儿:为高吞吐的过滤做一次快速、便宜的扫描,再为通过筛选的案例做一次更慢、更谨慎的处理。先便宜后谨慎,这正是大多数高性价比流水线最终成型的方式。
5.5 这一代还在叠加
Haiku 5.5 是 5.5 家族的第二款模型,前一款是 Opus 5.5。10 月里整个行业的走势相当一致:推理越来越便宜,小模型越来越好用,日常 AI 工作的成本底线不断下移。OpenAI 把 GPT-6 推给了所有人,Google 预览了 Gemini 4 Argon 并随之降价,Anthropic 也削减了自己产品线的底部。
单看每一步都算不上戏剧性。但合在一起,它们描绘出一个市场:有能力的智能正在变成一种商品化的输入,价值则转移到围绕它的一切之上:数据、工作流、评估,以及信任。当模型本身变便宜时,差异化的就变成了那些从来不属于模型的部分。
路由变成一门学问
当旗舰模型和小模型之间的价差足够大时,价值最高的工程决策往往不是用哪个模型,而是哪一步用哪个模型。一个搭得好的系统会把容易的那 80% 请求交给便宜的那层,把昂贵的模型留给真正需要它的案例。
这是个路由问题,而且比看起来更难。你得在拿到答案之前就判断难度,也就是要建一个分类器或启发式规则,来决定每个请求该去哪儿。往一个方向判错,你会把钱浪费在琐事上;往另一个方向判错,你会损害那些真正重要的请求的质量。
一个便宜了 75% 的小模型,会把这道权衡里安全的那一侧拓宽。你可以更大胆地路由,也可以用一道验证扫描来兜住错误,因为路由决策和检查现在都很便宜。
省下来的钱怎么花
显而易见的做法是把更多活儿派给小模型。更微妙的做法,是重新考虑那些你曾判定为太贵的任务。一个会读遍所有支持工单、给目录里每张图打标签、或为每份文档起草初稿的系统,过去是个预算决定。按新价格,其中一些决定会反转。
这里也有个陷阱。更便宜的 token 会诱使团队跳过评估,让低质量输出规模化地流淌。成本下降并不意味着错误变免费。恰恰相反,它让度量更重要,因为失败模式从“我们负担不起去尝试”变成了“我们什么都试了,却没人去核查”。
处理得好的团队,会把一部分省下来的钱花在那些正是更便宜的 token 才让其负担得起的枯燥基础设施上:采样、评估和护栏。这就是用降价来扩大产出,和用降价来提升质量之间的差别。
为什么这次降价比看起来更大
值得停下来想想这种降价带来的叠加效应。团队并不是按固定预算来花模型调用,他们是朝着一个质量目标去花。当每次调用变便宜时,他们不会把差额揣进口袋,而是把目标抬高:更多检查、更多重试、更好的上下文、更长的链路。75% 的降价既降低了账单,也抬高了团队愿意尝试的野心。
早期的降价在实践中就是这样展开的。当推理模型变便宜时,系统开始在更多步骤上做推理。当上下文变便宜时,系统开始投喂更多文档。一个单位工作的价格,决定了叠加在它之上的系统的形态,而更便宜的单位买来的是更审慎的设计。
对智能体而言,这一点尤其直接。智能体是一个循环,循环的成本等于每步成本乘以步数。把每步成本砍得足够狠,你就能让循环跑得更久,而这正是区分一个有用的智能体和一个让人抓狂的智能体的主要因素。Haiku 5.5 是朝着值得跑到完成的循环迈出的一步。
那个不声张的论点
前沿模型的发布会吸引眼球。但决定一个 AI 产品能负担得起做什么的,往往是那些小模型。Haiku 5.5 提醒我们,在底层砍掉 75% 的价格不是一句脚注,而是经济上可能之事的改变,而这类改变通常会在几个月后出现在已上线的产品里,出现在那些没人会想到要归功于某次模型发布的功能里。
相关文章
婚纱照不用摄影师了:这届年轻人把影棚搬进了阳台
10 月 14 日 AI 婚纱照冲上微博热搜第三。一个程序员在阳台挂块白布,做了整套婚纱照。这件事真正戳中的,不是价格,是那一天的表演压力。
五大出版社悄悄用AI做封面,读者已经开始认出来了
《连线》报道称,美国五大出版社中至少三家在未披露的情况下用AI生成封面与文案。官方回应与员工说法相互矛盾,而名字印在封面上的作者,往往是最后一个知道的人。
Character.AI 申请破产,迪士尼用 2000 万美元给专利兜底
Character.AI 申请破产,迪士尼以 2000 万美元充当马前卒,买的只是部分资产和专利许可。一个 1.5 亿美元 A 轮的故事,最后落在专利和每月八九百万美元的亏损上。
XERJ:一个会坦白自己数字灌水的编码代理搜索引擎
XERJ 用本地索引和 tree-sitter 符号帮编码代理少读文件:实测比 grep 省 2.7 倍 token,而不是标题宣称的 40 倍,维护者自己把这层窗户纸捅破了。