DeepSeek 把自家推理引擎开源了,先读它没给什么

DeepSeek 这周放出了 DeepInfer:跑它自家大规模线上流量的那套推理框架,Apache 2.0。没有发布会,一个月涨过 25,000 star。这个速度说明,大家有多想知道一家前沿实验室到底怎么服务一个模型。
在你周日下午拿它跟 vLLM 对打之前,先读 README 里那段列它没放出来的东西。那是整个 repo 里最诚实的一段。
你能拿到什么
DeepInfer 是一个离线推理引擎,只服务一个模型:DeepSeek-V4.1-Flash。不是一个系列,也不是插十几个模型适配器的插件架构。一个 checkpoint,一路调到 kernel 不再抱怨为止。
这种窄就是重点。功能列表基本就是一张“规模化之后哪里烧钱”的清单:
- 优化过的 kernel——FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,外加自写的 TileLang kernel。
- 并行——attention 数据并行配均衡的 context 并行,MoE 专家并行配 EPLB(专家级负载均衡,就是防止某个专家变成热点的那东西)。
- DSpark 与置信度调度的验证——投机解码的草稿长度由置信度决定,不是写死一个数。草稿长度默认 5,通过
DEEPINFER_USE_NEXTN_DECODE设置。 - SWA 有界重放——不重放整个前缀,只重放一段有界的后缀。V4.1 的默认设置保留 140 个 token,并要求这段后缀覆盖滑动窗口加上最大回溯距离。
- 异步调度——CPU 上的批量调度和设备执行重叠,默认开启。
- 批内不变推理与确定性采样——同样的输入 token,不管 batch 里还塞了什么,都产出同样的输出 token。
- 结构化输出——正则、JSON schema 或 EBNF 语法约束,通过
SamplingParams传进去。
最后这一组是我会画线的。几乎每个服务栈都能做结构化输出。很少有人能保证你发一个请求和发一千个请求,输出字节完全一样,因为大多数 kernel 会按 batch 形状选不同的归约顺序,而不同的归约顺序算出来的浮点结果不一样。如果你有过因为 batch 变大而挂掉的回归测试,你就知道这为什么重要。

你拿不到什么
三件事,README 里写得很平淡:
- KV cache 系统。
- VE / prefill / decode 分离——“引擎该有的功能基本都实现了”,但部署那一层没放出来。
- 数据并行副本之间的负载均衡,prefill 和 decode 分开算。
- 除 DeepSeek-V4.1-Flash 之外的任何模型。
这份清单读两遍。一个生产级推理服务不是一个快 kernel,是快 kernel 加一个能扛住淘汰的 cache,再加一个知道哪个副本是冷的路由。DeepInfer 给你引擎,不给你车。你是研究团队,手上有八张卡和一个要复现的 benchmark,那它正好。你是创业公司,指望下个 sprint 拿它替掉 vLLM 的部署,那你得花一个季度,把人家故意没放的部分重造一遍。
硬件才是真正的重点
支持的硬件:NVIDIA SM100 GPU 和华为昇腾 950 NPU。两行,没有解释。
这东西能写进 README,很不寻常。一个框架把英伟达的顶配和一款国产加速卡当成同级目标,等于告诉你它的线上流量实际跑在哪,或者打算跑在哪。构建系统说得很明白:export DEEPINFER_ACCELERATOR=nvidia,或者换成 ascend。一条路是 CUDA 13,另一条是 CANN 9.2。
对多数西方团队这是个冷知识。对在中国做东西的人,或者做的东西得扛住出口管制头条的人,这是 repo 里最要紧的一行。
老实说怎么装
前置条件不温柔:Linux、GCC 13 或更新、Python 3.12、CUDA 13。然后:
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py
默认 checkpoint 第一次跑会从 Hugging Face 拉;本地有就设 DEEPINFER_HF_MODEL_DIR。benchmark 是 prefill 用四张 SM100、decode 用六十四张卡测出来的,你据此校准一下这里的“快”是什么意思。4090 上你复现不了,而且它根本没有消费级的路子。
出身写得很直白:最初基于 vLLM 搭,借鉴了 SGLang 和 TensorRT-LLM 的想法。这是体面的致谢,也是一张有用的地图。你熟悉 vLLM 的调度器和 SGLang 的 radix cache,大概就能猜到 DeepInfer 重写了哪块、继承了哪块。
实验室为什么开源这个
三个说得通的理由,而且不互斥。
第一,可信度。把服务栈发出来,等于说那些 benchmark 数字来自真东西。谁都能引用 tokens per second。把产出这些数字的代码交出来,是另一个层级的声明。
第二,生态。推理工程师就住在服务框架里。你的模型在大家都熟的框架上跑得好,等于白拿一波采用。只能在自己的框架上跑得好,那这个框架得自己去挣用户。
第三,招人和定标准。把 kernel 公开的实验室,是在定词汇。下一篇论文说“批内不变”的时候,大家指的就是 DeepInfer 说的那个意思。
它不做的,是直接给你一个产品。“我们开源了引擎”和“你可以便宜地服务这个模型”之间的缺口,正好就是 README 老实承认的那一段。
这个月可以拿它做什么
如果你是靠推理吃饭的,clone 下来,在你能租到的 Blackwell 或昇腾上跑那个离线例子,测两件事:真实提示词分布下的首 token 时间,以及确定性采样在大 batch 下到底还成不成立。这两条都是验证起来便宜、造假很贵的说法。
还有一个更窄、更实用的用法:离线批量打分。你要把一个固定的评测集跑十遍对比输出,确定性采样能把这件事从统计题变成 diff。大多数评测框架有一半的复杂度,是在绕开“同一个提示词在不同 batch 下答案不一样”这个事实。一个能保证不这样的服务栈,等于砍掉一整类工具。
如果你不干这行,这个 repo 也值一小时。不是当软件读,是当规格书读。一家前沿实验室在告诉你,哪些问题它认为难到必须自己做:专家负载均衡、滑动窗口 attention 的有界重放、置信度门控的投机、位级可复现。这张单子相当程度上画出了推理成本到底从哪来,而且在 V4.1-Flash 退役很久之后依然成立。
这里的开源,意思是“引擎在这,调优在这,我们只在乎这一个模型”。剩下的——cache、路由、那些不好看的中间层——还是你自己搭。
相关文章
一份社区维护的点击表,关掉了国产 Android 系统里的广告
它不动系统,不解锁,不刷机,只把厂商本来就留出来的开关一个个拨过去。代价是这份名单得一直有人续写。
GPT Image 2.6 守住 token 价格,账单却涨了
GPT Image 2.6 沿用了 2.5 的全部 token 费率,单张图却更贵,因为更多的活现在花在输出 token 上。上线十一天,定价结构说的比排行榜更多。
有人从外部重建了 IDM,并写下了自己没有碰过的部分
Mister Download Manager 用 Rust 重写了 Internet Download Manager 的下载流程,声称速度快 5 倍、支持 86 种语言。更值得细读的,是它解释如何在不复制任何代码的前提下完成重写的那一段。
Rune 是一个 Rust UI 框架,设计初衷是让 agent 能检查自己的工作
Rune 能无头渲染、导出元素树并接受脚本化输入,这让编码 agent 拿到截图永远给不了的东西,一个可 diff 的信号。这个框架仍是预发布版本,不接受 pull request。