← 返回博客
Ai预计阅读 8 分钟

DeepSeek 把自家推理引擎开源了,先读它没给什么

发布于 2026年11月7日
DeepSeek 把自家推理引擎开源了,先读它没给什么

DeepSeek 这周放出了 DeepInfer:跑它自家大规模线上流量的那套推理框架,Apache 2.0。没有发布会,一个月涨过 25,000 star。这个速度说明,大家有多想知道一家前沿实验室到底怎么服务一个模型。

在你周日下午拿它跟 vLLM 对打之前,先读 README 里那段列它没放出来的东西。那是整个 repo 里最诚实的一段。

你能拿到什么

DeepInfer 是一个离线推理引擎,只服务一个模型:DeepSeek-V4.1-Flash。不是一个系列,也不是插十几个模型适配器的插件架构。一个 checkpoint,一路调到 kernel 不再抱怨为止。

这种窄就是重点。功能列表基本就是一张“规模化之后哪里烧钱”的清单:

  • 优化过的 kernel——FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,外加自写的 TileLang kernel。
  • 并行——attention 数据并行配均衡的 context 并行,MoE 专家并行配 EPLB(专家级负载均衡,就是防止某个专家变成热点的那东西)。
  • DSpark 与置信度调度的验证——投机解码的草稿长度由置信度决定,不是写死一个数。草稿长度默认 5,通过 DEEPINFER_USE_NEXTN_DECODE 设置。
  • SWA 有界重放——不重放整个前缀,只重放一段有界的后缀。V4.1 的默认设置保留 140 个 token,并要求这段后缀覆盖滑动窗口加上最大回溯距离。
  • 异步调度——CPU 上的批量调度和设备执行重叠,默认开启。
  • 批内不变推理与确定性采样——同样的输入 token,不管 batch 里还塞了什么,都产出同样的输出 token。
  • 结构化输出——正则、JSON schema 或 EBNF 语法约束,通过 SamplingParams 传进去。

最后这一组是我会画线的。几乎每个服务栈都能做结构化输出。很少有人能保证你发一个请求和发一千个请求,输出字节完全一样,因为大多数 kernel 会按 batch 形状选不同的归约顺序,而不同的归约顺序算出来的浮点结果不一样。如果你有过因为 batch 变大而挂掉的回归测试,你就知道这为什么重要。

A macro view of a GPU board edge with copper traces and a liquid cooling fitting

你拿不到什么

三件事,README 里写得很平淡:

  • KV cache 系统。
  • VE / prefill / decode 分离——“引擎该有的功能基本都实现了”,但部署那一层没放出来。
  • 数据并行副本之间的负载均衡,prefill 和 decode 分开算。
  • 除 DeepSeek-V4.1-Flash 之外的任何模型。

这份清单读两遍。一个生产级推理服务不是一个快 kernel,是快 kernel 加一个能扛住淘汰的 cache,再加一个知道哪个副本是冷的路由。DeepInfer 给你引擎,不给你车。你是研究团队,手上有八张卡和一个要复现的 benchmark,那它正好。你是创业公司,指望下个 sprint 拿它替掉 vLLM 的部署,那你得花一个季度,把人家故意没放的部分重造一遍。

硬件才是真正的重点

支持的硬件:NVIDIA SM100 GPU 和华为昇腾 950 NPU。两行,没有解释。

这东西能写进 README,很不寻常。一个框架把英伟达的顶配和一款国产加速卡当成同级目标,等于告诉你它的线上流量实际跑在哪,或者打算跑在哪。构建系统说得很明白:export DEEPINFER_ACCELERATOR=nvidia,或者换成 ascend。一条路是 CUDA 13,另一条是 CANN 9.2。

对多数西方团队这是个冷知识。对在中国做东西的人,或者做的东西得扛住出口管制头条的人,这是 repo 里最要紧的一行。

老实说怎么装

前置条件不温柔:Linux、GCC 13 或更新、Python 3.12、CUDA 13。然后:

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

默认 checkpoint 第一次跑会从 Hugging Face 拉;本地有就设 DEEPINFER_HF_MODEL_DIR。benchmark 是 prefill 用四张 SM100、decode 用六十四张卡测出来的,你据此校准一下这里的“快”是什么意思。4090 上你复现不了,而且它根本没有消费级的路子。

出身写得很直白:最初基于 vLLM 搭,借鉴了 SGLang 和 TensorRT-LLM 的想法。这是体面的致谢,也是一张有用的地图。你熟悉 vLLM 的调度器和 SGLang 的 radix cache,大概就能猜到 DeepInfer 重写了哪块、继承了哪块。

实验室为什么开源这个

三个说得通的理由,而且不互斥。

第一,可信度。把服务栈发出来,等于说那些 benchmark 数字来自真东西。谁都能引用 tokens per second。把产出这些数字的代码交出来,是另一个层级的声明。

第二,生态。推理工程师就住在服务框架里。你的模型在大家都熟的框架上跑得好,等于白拿一波采用。只能在自己的框架上跑得好,那这个框架得自己去挣用户。

第三,招人和定标准。把 kernel 公开的实验室,是在定词汇。下一篇论文说“批内不变”的时候,大家指的就是 DeepInfer 说的那个意思。

它不做的,是直接给你一个产品。“我们开源了引擎”和“你可以便宜地服务这个模型”之间的缺口,正好就是 README 老实承认的那一段。

这个月可以拿它做什么

如果你是靠推理吃饭的,clone 下来,在你能租到的 Blackwell 或昇腾上跑那个离线例子,测两件事:真实提示词分布下的首 token 时间,以及确定性采样在大 batch 下到底还成不成立。这两条都是验证起来便宜、造假很贵的说法。

还有一个更窄、更实用的用法:离线批量打分。你要把一个固定的评测集跑十遍对比输出,确定性采样能把这件事从统计题变成 diff。大多数评测框架有一半的复杂度,是在绕开“同一个提示词在不同 batch 下答案不一样”这个事实。一个能保证不这样的服务栈,等于砍掉一整类工具。

如果你不干这行,这个 repo 也值一小时。不是当软件读,是当规格书读。一家前沿实验室在告诉你,哪些问题它认为难到必须自己做:专家负载均衡、滑动窗口 attention 的有界重放、置信度门控的投机、位级可复现。这张单子相当程度上画出了推理成本到底从哪来,而且在 V4.1-Flash 退役很久之后依然成立。

这里的开源,意思是“引擎在这,调优在这,我们只在乎这一个模型”。剩下的——cache、路由、那些不好看的中间层——还是你自己搭。

相关文章