← 返回博客
Ai预计阅读 8 分钟

DeepSeek 开源了推理引擎,变速箱自己留着

发布于 2026年11月11日
DeepSeek 开源了推理引擎,变速箱自己留着

DeepSeek 本周发布了 DeepInfer,README 里的说法是「支撑 DeepSeek 大规模生产服务的高性能推理框架」。它只支持一个模型,DeepSeek-V4.1-Flash,并且在附带清单里明确写了没有什么:KV 缓存系统,以及 VE/Prefill/Decode 三层服务。

这才是这次发布最有意思的地方。它不是产品。它是发动机缸体,变速箱没给。

不到一个月约 25,000 星,说明大家还是看懂了这份姿态。

盒子里到底装了什么

功能清单读起来像一串答案,对应的是只有上规模才会出现的问题。

并行。 Attention DP、均衡 CP、带 EPLB 的 MoE EP。EPLB 是专家并行负载均衡,MoE 模型服务里最容易被低估的一环:路由不会把流量平均分下去,于是部分 GPU 手里全是热门专家,干着三倍的活。

DSpark,带置信度调度的验证。 这是投机解码的一个变体。先给出草稿 token,再由一个置信度估计决定草稿里有多少送去验证。打开 DEEPINFER_ENABLE_MTP_VARLEN=1,DEEPINFER_USE_NEXTN_DECODE 限制草稿长度,默认 5。

SWA 有界重放。 滑动窗口注意力意味着解码器做 prefill 不需要整段前缀,它需要窗口,加上你允许的回溯长度。README 里的默认值是 compact 模式、保留 140 个 token。prefill 的活少了,输出不变。

异步调度。 CPU 侧批次调度和设备侧执行重叠。默认开启。不性感,但可能比仓库里任何单个 kernel 优化都值钱。

然后是那两个跟速度毫无关系的功能。

批次不变性才是安静的头条

设 DEEPINFER_BATCH_INVARIANT=1,模型的输出就跟同一批次里还有别的什么都不再有关。再配上 DEEPINFER_ENABLE_MTP_VARLEN=0 和固定的 seq_seed,你就得到确定性采样:同样的输入 token、同样的参数,每次输出都一样。

几乎没人宣传这个,因为几乎没人需要——直到需要的那天。

需要的那天,是客户说「这个答案昨天是错的,今天是对的,改了什么」。如果答案取决于批次构成,那答案就取决于你的服务器当时有多忙。两个人在凌晨三点和下午三点问同一个问题,可能拿到不同的文本,而且没有 bug 可查,因为什么都没坏。这是生产环境里最不愿意碰上的性质,也是最容易被「大模型本来就有随机性」这句话糊过去的性质。

批次不变推理是让你能写回归测试的东西。是让一个评测数字有意义的东西。说白了,也是要牺牲吞吐的东西——所以它默认关闭,这一版里只对 NVIDIA 硬件开放。

夜间的服务器机柜通道,一块刀片亮着绿灯,其余都是暗的,线缆成束平行铺设

两个硬件目标,其中一个是意外

支持的硬件写的是 NVIDIA SM100 GPU 和华为昇腾 950 NPU。不是「NVIDIA 和 AMD」。不是「CUDA 和 ROCm」。是 SM100 和昇腾 950。

DeepSeek 在昇腾一侧的基础设施已经发了一阵子——TileLang、DeepGEMM、DeepEP、FlashMLA、DeepSelect 在华为栈上都有对应物。DeepInfer 的 kernel 清单点的还是这几个组件,外加自研 TileLang kernel,然后把 NPU 支持声明在框架层,而不是 kernel 层。

这个区别有意义。在 kernel 层支持第二种加速器,意味着要写第二套 kernel。在框架层支持,用同一套调度器和同一套并行策略,意味着这套抽象一开始就是按可移植设计的。性能如何是另一个问题,README 没有回答。

为什么开源引擎,不开源服务

省略的部分就是策略。KV 缓存系统和 prefill/decode 拆分,恰恰是把推理引擎变成服务生意的零件。也恰恰是最难负责任地开源的零件,因为里面编码了你对流量形态、SLA、硬件组合的假设。

剩下的是适合公开的部分:kernel、调度、并行、精度行为。如果你是一个想让自己的模型被采用的实验室,公开引擎意味着每家云厂商都能跑到你的性能数字,竞争对手也没法说你的速度是私藏技巧。

还有一层实际的考虑。DeepSeek-V4.1-Flash 是便宜、快的模型。便宜快的模型生死全看服务效率,因为毛利薄、量大。5% 的吞吐提升是商业结果,不是工程趣闻。把引擎交给生态,等于抬高所有转售你模型的人的地板。

结构化输出,和没人写进更新日志的代价

清单上最后一条很容易划过去:把生成约束到正则、JSON schema 或 EBNF 语法,通过采样参数上的 so_args 传进去。

每个正经的生产系统都需要这个,因为另一条路是解析自由文本然后祈祷。不寻常的是它和批次不变推理出现在同一个发布里,因为这两件事会互相影响。语法约束解码要走一棵 token trie,而 trie 的形状取决于 schema,不取决于批次。这个交互处理错了,你的「确定性」采样器会在调用方传 schema 的那一刻不再确定。

把两个功能放进一个框架,用同一个环境变量控制确定性路径——这种细节说明这套代码跑过真实流量。没人会给演示写这道闸。

做工程的人该拿走什么

三件事,按多久之后会轮到你排序。

抄那个确定性开关,别抄 kernel。 如果你在服务任何模型,而且从没检查过输出是否依赖批次构成,那是一个下午能做完的实验,大概率会让你意外。不需要 DeepInfer:把同一个 prompt 单独发一次、再混进 32 条的批次里发一次,diff 结果。

140 这个默认值是个提示。 README 说保留的后缀必须覆盖 SWA 窗口加上最大回溯长度,然后给出 V4.1 的默认值 140。这个数字透露了模型的注意力窗口和投机解码深度,而这两件事在整个发布里没有别处提过。

把排除清单当待办看。 KV 缓存、VE、prefill、decode。如果你在建服务栈,这四个词就是你真正的项目。仓库是你本来也得从零写的那部分,现在不用写了。

更大的点是:推理现在是模型生意待的地方。训练拿走头条和融资。但一个服务成本低 30% 的模型,可以定价低 30% 还赚钱,而这件事是在这样的代码里、在 DEEPINFER_BATCH_INVARIANT 这样的开关里、被一群为你永远看不到的负载做优化的人决定的。

相关文章