DeepSeek 開源了它的推論服務架構,先讀它缺了什麼

DeepSeek 這週公開了 DeepInfer:一套跑著自家大規模線上流量的推論框架,現在以 Apache 2.0 釋出。一個月內 star 數突破 25,000,而且沒有辦任何發表會——這說明大家有多渴望看到一家前沿實驗室實際上怎麼服務一個模型。
在任何人趁週日下午拿它跟 vLLM 跑 benchmark 之前,先讀 README 裡列出「這次沒有釋出」的那一節。那是整個 repo 裡最誠實的一段話。
你拿到什麼
DeepInfer 是一套離線推論引擎,而且只針對一個模型:DeepSeek-V4.1-Flash。不是一個家族,也不是搭載十幾種模型轉接器、可以外掛的架構。就是一個 checkpoint,一路調到 kernel 不再抱怨為止。
這種窄,正是重點。功能清單等於一趟「大規模部署時哪裡最花錢」的導覽:
- 最佳化 kernel——FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,加上自製的 TileLang kernel。
- 平行化——attention data parallelism 搭配 balanced context parallelism,MoE expert parallelism 搭配 EPLB(專家層級負載平衡,就是防止某個 expert 變成熱點的那個機制)。
- DSpark 與信心排程驗證——推測解碼(speculative decoding),draft 長度由信心值決定,而不是固定數字。draft 長度預設為 5,透過
DEEPINFER_USE_NEXTN_DECODE設定。 - SWA 有界重播——不是整個 prefix 重播,只重播一段有界的 suffix。V4.1 的預設設定保留 140 個 token,並要求這段 suffix 涵蓋滑動視窗加上最大回溯距離。
- 非同步排程——CPU 上的批次排程與裝置執行重疊,預設開啟。
- 批次不變性推論與確定性取樣——同一組輸入 token 會產生同一組輸出 token,不管同一批次裡還裝了什麼。
- 結構化輸出——透過
SamplingParams傳入 regex、JSON schema 或 EBNF 語法約束。
最後那一組是我會劃線的。幾乎每一套 serving stack 都能做結構化輸出。但很少人能保證:你送一個請求或送一千個請求,輸出都位元完全相同。因為多數 kernel 會依批次形狀選擇不同的 reduction 順序,而不同的 reduction 順序會產生不同的浮點結果。如果你曾經遇過「只是批次變大,回歸測試就掛掉」,你就知道這件事為什麼重要。

你拿不到什麼
三件事,README 寫得不太戲劇化:
- 一套 KV cache 系統。
- VE/prefill/decode 拆解——「多數必要的引擎功能已經實作」,但部署的管線沒有一起釋出。
- 跨 data-parallel 副本的負載平衡,prefill 與 decode 分開做。
- DeepSeek-V4.1-Flash 以外的任何東西。
這份清單讀兩遍。生產級的推論服務不是一顆快的 kernel,而是快的 kernel 加上一個能撐過驅逐的 cache,再加上一個知道哪個副本是冷的路由器。DeepInfer 給你引擎,不是給你車。如果你是研究團隊,手上有八張 GPU、要重現一份 benchmark,這完全正確。如果你是新創,打算下個 sprint 就把它換進現有的 vLLM 部署,那你會花上一季,把那些刻意被略過的部分重新蓋回來。
硬體才是真正的重點
支援的硬體:NVIDIA SM100 GPU 與華為 Ascend 950 NPU。兩行,沒有註解。
這種東西寫在 README 裡很不尋常。一套框架把 NVIDIA 頂規晶片和中國國產加速器當成對等目標,等於在告訴你它的生產流量實際跑在哪裡,或者預期會跑在哪裡。建置系統講得更白:export DEEPINFER_ACCELERATOR=nvidia,或改成 ascend。一條路走 CUDA 13,另一條走 CANN 9.2。
對多數西方團隊來說,這是冷知識。但對在中國開發的人,或對任何得撐過一則出口管制新聞的專案來說,這是整個 repo 裡最關鍵的一行。
老實說,怎麼裝
前置條件不算友善:Linux、GCC 13 以上、Python 3.12、CUDA 13。然後:
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py
預設 checkpoint 第一次執行時會從 Hugging Face 拉;如果你本機已經有,設定 DEEPINFER_HF_MODEL_DIR。Benchmark 是在四張 SM100 GPU 上量 prefill、六十四張量 decode,這應該可以校正你對「快」的期待。你在 4090 上重現不了那些數字,而且它完全沒有消費級的路徑。
血統寫得很坦白:最初建構在 vLLM 之上,也借鏡了 SGLang 和 TensorRT-LLM 的想法。這是一種有風度的致意,也是一張有用的地圖。如果你熟悉 vLLM 的 scheduler 和 SGLang 的 radix cache,你大概猜得到 DeepInfer 重寫了哪些部分、又繼承了哪些部分。
實驗室為什麼要開源這個
三個說得通的理由,而且它們並不互斥。
第一,可信度。把 serving stack 公開,等於在說「那些 benchmark 數字其來有自」。誰都能引用 tokens per second。把產出這些數字的程式碼一起交出來,是另一個層級的宣稱。
第二,生態系。Serving 框架是推論工程師生活的地方。如果你的模型在大家都已經熟悉的框架上跑得好,你免費得到採用率。如果它只在自家框架上跑得好,那這個框架就得自己去爭使用者。
第三,招募與標準。一家實驗室公開自己的 kernel,等於在設定詞彙。當下一篇論文說「batch-invariant」,大家指的就是 DeepInfer 說的那件事。
它沒有做的,是直接給你一個產品。「我們開源了引擎」和「你可以便宜地服務這個模型」之間的落差,正好就是 README 誠實以對的那段落差。
這個月可以拿它做什麼
如果你靠推論吃飯,clone 下來,在你租得到的 Blackwell 或 Ascend 硬體上跑那個離線範例,量兩件事:在貼近真實的提示詞分佈下,首字延遲是多少;以及確定性取樣在各種批次大小下是不是真的成立。這兩個宣稱,驗證起來很便宜,造假起來很貴。
還有一種更窄、更實用的用法:離線批次評分。如果你需要把一套固定的評測跑十次然後比對輸出,確定性取樣會把這件事從統計練習變成 diff。多數評測框架有一半的複雜度,都花在繞過「同一個提示詞在不同批次大小下會給不同答案」這件事。一套保證不會這樣的 serving stack,等於直接砍掉一整類工具。
如果你不靠這個吃飯,這個 repo 仍然值得花一小時。不是當軟體讀,是當規格讀。這是一家前沿實驗室在告訴你,它認為哪些問題難到必須自己解:expert 負載平衡、滑動視窗注意力的有界重播、信心閘控的推測解碼、位元級可重現性。那份清單相當程度描繪了推論成本真正的來源,而且等到 V4.1-Flash 退役很久之後,它依然成立。
在這個案例裡,開源的意思是:「這是引擎,這是調校,這是我們唯一在乎的模型。」其餘的——cache、router、那些不性感的中間層——仍然得由你來蓋。