DeepSeek 开源了推理引擎,变速箱自己留着

DeepSeek 本周发布了 DeepInfer,README 里的说法是「支撑 DeepSeek 大规模生产服务的高性能推理框架」。它只支持一个模型,DeepSeek-V4.1-Flash,并且在附带清单里明确写了没有什么:KV 缓存系统,以及 VE/Prefill/Decode 三层服务。
这才是这次发布最有意思的地方。它不是产品。它是发动机缸体,变速箱没给。
不到一个月约 25,000 星,说明大家还是看懂了这份姿态。
盒子里到底装了什么
功能清单读起来像一串答案,对应的是只有上规模才会出现的问题。
并行。 Attention DP、均衡 CP、带 EPLB 的 MoE EP。EPLB 是专家并行负载均衡,MoE 模型服务里最容易被低估的一环:路由不会把流量平均分下去,于是部分 GPU 手里全是热门专家,干着三倍的活。
DSpark,带置信度调度的验证。 这是投机解码的一个变体。先给出草稿 token,再由一个置信度估计决定草稿里有多少送去验证。打开 DEEPINFER_ENABLE_MTP_VARLEN=1,DEEPINFER_USE_NEXTN_DECODE 限制草稿长度,默认 5。
SWA 有界重放。 滑动窗口注意力意味着解码器做 prefill 不需要整段前缀,它需要窗口,加上你允许的回溯长度。README 里的默认值是 compact 模式、保留 140 个 token。prefill 的活少了,输出不变。
异步调度。 CPU 侧批次调度和设备侧执行重叠。默认开启。不性感,但可能比仓库里任何单个 kernel 优化都值钱。
然后是那两个跟速度毫无关系的功能。
批次不变性才是安静的头条
设 DEEPINFER_BATCH_INVARIANT=1,模型的输出就跟同一批次里还有别的什么都不再有关。再配上 DEEPINFER_ENABLE_MTP_VARLEN=0 和固定的 seq_seed,你就得到确定性采样:同样的输入 token、同样的参数,每次输出都一样。
几乎没人宣传这个,因为几乎没人需要——直到需要的那天。
需要的那天,是客户说「这个答案昨天是错的,今天是对的,改了什么」。如果答案取决于批次构成,那答案就取决于你的服务器当时有多忙。两个人在凌晨三点和下午三点问同一个问题,可能拿到不同的文本,而且没有 bug 可查,因为什么都没坏。这是生产环境里最不愿意碰上的性质,也是最容易被「大模型本来就有随机性」这句话糊过去的性质。
批次不变推理是让你能写回归测试的东西。是让一个评测数字有意义的东西。说白了,也是要牺牲吞吐的东西——所以它默认关闭,这一版里只对 NVIDIA 硬件开放。

两个硬件目标,其中一个是意外
支持的硬件写的是 NVIDIA SM100 GPU 和华为昇腾 950 NPU。不是「NVIDIA 和 AMD」。不是「CUDA 和 ROCm」。是 SM100 和昇腾 950。
DeepSeek 在昇腾一侧的基础设施已经发了一阵子——TileLang、DeepGEMM、DeepEP、FlashMLA、DeepSelect 在华为栈上都有对应物。DeepInfer 的 kernel 清单点的还是这几个组件,外加自研 TileLang kernel,然后把 NPU 支持声明在框架层,而不是 kernel 层。
这个区别有意义。在 kernel 层支持第二种加速器,意味着要写第二套 kernel。在框架层支持,用同一套调度器和同一套并行策略,意味着这套抽象一开始就是按可移植设计的。性能如何是另一个问题,README 没有回答。
为什么开源引擎,不开源服务
省略的部分就是策略。KV 缓存系统和 prefill/decode 拆分,恰恰是把推理引擎变成服务生意的零件。也恰恰是最难负责任地开源的零件,因为里面编码了你对流量形态、SLA、硬件组合的假设。
剩下的是适合公开的部分:kernel、调度、并行、精度行为。如果你是一个想让自己的模型被采用的实验室,公开引擎意味着每家云厂商都能跑到你的性能数字,竞争对手也没法说你的速度是私藏技巧。
还有一层实际的考虑。DeepSeek-V4.1-Flash 是便宜、快的模型。便宜快的模型生死全看服务效率,因为毛利薄、量大。5% 的吞吐提升是商业结果,不是工程趣闻。把引擎交给生态,等于抬高所有转售你模型的人的地板。
结构化输出,和没人写进更新日志的代价
清单上最后一条很容易划过去:把生成约束到正则、JSON schema 或 EBNF 语法,通过采样参数上的 so_args 传进去。
每个正经的生产系统都需要这个,因为另一条路是解析自由文本然后祈祷。不寻常的是它和批次不变推理出现在同一个发布里,因为这两件事会互相影响。语法约束解码要走一棵 token trie,而 trie 的形状取决于 schema,不取决于批次。这个交互处理错了,你的「确定性」采样器会在调用方传 schema 的那一刻不再确定。
把两个功能放进一个框架,用同一个环境变量控制确定性路径——这种细节说明这套代码跑过真实流量。没人会给演示写这道闸。
做工程的人该拿走什么
三件事,按多久之后会轮到你排序。
抄那个确定性开关,别抄 kernel。 如果你在服务任何模型,而且从没检查过输出是否依赖批次构成,那是一个下午能做完的实验,大概率会让你意外。不需要 DeepInfer:把同一个 prompt 单独发一次、再混进 32 条的批次里发一次,diff 结果。
140 这个默认值是个提示。 README 说保留的后缀必须覆盖 SWA 窗口加上最大回溯长度,然后给出 V4.1 的默认值 140。这个数字透露了模型的注意力窗口和投机解码深度,而这两件事在整个发布里没有别处提过。
把排除清单当待办看。 KV 缓存、VE、prefill、decode。如果你在建服务栈,这四个词就是你真正的项目。仓库是你本来也得从零写的那部分,现在不用写了。
更大的点是:推理现在是模型生意待的地方。训练拿走头条和融资。但一个服务成本低 30% 的模型,可以定价低 30% 还赚钱,而这件事是在这样的代码里、在 DEEPINFER_BATCH_INVARIANT 这样的开关里、被一群为你永远看不到的负载做优化的人决定的。
相关文章
744B 模型住进 9.9 GB 内存,专家从硬盘上读
colibri 把 744B 混合专家模型里常用的那部分留在内存,专家从磁盘流式读。README 把慢的基准和快的一起发,所以值得读。
不动模型,也能把智能体调好
Harness² 冻结权重,只改模型周围的八个组件,然后对比几次运行的差异。一个 benchmark 上最多涨 11.5 分,没有一次梯度更新。
编辑榜排第二,调用榜前五十都没进
微软发了一个根本不能生成图像的模型。它在编辑榜第二,在请求量前五十里找不到。这个落差说明图像榜单到底在量什么。
35 万个假受害者,和机构撒谎的伦理问题
Apate.ai 跑着 35 万个 AI 人格,工作是让骗子骗,再把骗出来的情报卖给银行和运营商。浪费时间这一步成立,没有人算过账的是那个先例。