DeepSeek 開源了推論引擎,變速箱自己留著

DeepSeek 本週發布了 DeepInfer,README 裡的說法是「支撐 DeepSeek 大規模生產服務的高效能推論框架」。它只支援一個模型,DeepSeek-V4.1-Flash,並且在附帶清單裡明確寫了沒有什麼:KV 快取系統,以及 VE/Prefill/Decode 三層服務。
這才是這次發布最有意思的地方。它不是產品。它是引擎缸體,變速箱沒給。
不到一個月約 25,000 星,說明大家還是看懂了這份姿態。
盒子裡到底裝了什麼
功能清單讀起來像一串答案,對應的是只有上規模才會出現的問題。
平行。 Attention DP、均衡 CP、帶 EPLB 的 MoE EP。EPLB 是專家平行負載平衡,MoE 模型服務裡最容易被低估的一環:路由不會把流量平均分下去,於是部分 GPU 手裡全是熱門專家,做著三倍的活。
DSpark,帶信心度排程的驗證。 這是投機解碼的一個變體。先給出草稿 token,再由一個信心度估計決定草稿裡有多少送去驗證。打開 DEEPINFER_ENABLE_MTP_VARLEN=1,DEEPINFER_USE_NEXTN_DECODE 限制草稿長度,預設 5。
SWA 有界重放。 滑動視窗注意力意味著解碼器做 prefill 不需要整段前綴,它需要視窗,加上你允許的回溯長度。README 裡的預設值是 compact 模式、保留 140 個 token。prefill 的活少了,輸出不變。
非同步排程。 CPU 側批次排程和裝置側執行重疊。預設開啟。不性感,但可能比倉庫裡任何單個核心最佳化都值錢。
然後是那兩個跟速度毫無關係的功能。
批次不變性才是安靜的頭條
設 DEEPINFER_BATCH_INVARIANT=1,模型的輸出就跟同一批次裡還有別的什麼都不再有關。再配上 DEEPINFER_ENABLE_MTP_VARLEN=0 和固定的 seq_seed,你就得到確定性取樣:同樣的輸入 token、同樣的參數,每次輸出都一樣。
幾乎沒人宣傳這個,因為幾乎沒人需要——直到需要的那天。
需要的那天,是客戶說「這個答案昨天是錯的,今天是對的,改了什麼」。如果答案取決於批次構成,那答案就取決於你的伺服器當時有多忙。兩個人在凌晨三點和下午三點問同一個問題,可能拿到不同的文字,而且沒有 bug 可查,因為什麼都沒壞。這是生產環境裡最不願意碰上的性質,也是最容易被「大模型本來就有隨機性」這句話糊過去的性質。
批次不變推論是讓你能寫回歸測試的東西。是讓一個評測數字有意義的東西。說白了,也是要犧牲吞吐的東西——所以它預設關閉,這一版裡只對 NVIDIA 硬體開放。

兩個硬體目標,其中一個是意外
支援的硬體寫的是 NVIDIA SM100 GPU 和華為昇騰 950 NPU。不是「NVIDIA 和 AMD」。不是「CUDA 和 ROCm」。是 SM100 和昇騰 950。
DeepSeek 在昇騰一側的基礎設施已經發了一陣子——TileLang、DeepGEMM、DeepEP、FlashMLA、DeepSelect 在華為堆疊上都有對應物。DeepInfer 的核心清單點的還是這幾個元件,外加自研 TileLang 核心,然後把 NPU 支援宣告在框架層,而不是核心層。
這個區別有意義。在核心層支援第二種加速器,意味著要寫第二套核心。在框架層支援,用同一套排程器和同一套平行策略,意味著這套抽象一開始就是按可攜設計的。效能如何是另一個問題,README 沒有回答。
為什麼開源引擎,不開源服務
省略的部分就是策略。KV 快取系統和 prefill/decode 拆分,恰恰是把推論引擎變成服務生意的零件。也恰恰是最難負責任地開源的零件,因為裡面編碼了你對流量形態、SLA、硬體組合的假設。
剩下的是適合公開的部分:核心、排程、平行、精度行為。如果你是一個想讓自己的模型被採用的實驗室,公開引擎意味著每家雲端業者都能跑到你的效能數字,競爭對手也沒法說你的速度是私藏技巧。
還有一層實際的考慮。DeepSeek-V4.1-Flash 是便宜、快的模型。便宜快的模型生死全看服務效率,因為毛利薄、量大。5% 的吞吐提升是商業結果,不是工程趣聞。把引擎交給生態,等於抬高所有轉售你模型的人的地板。
結構化輸出,和沒人寫進更新日誌的代價
清單上最後一條很容易划過去:把生成約束到正規表示式、JSON schema 或 EBNF 語法,透過取樣參數上的 so_args 傳進去。
每個正經的生產系統都需要這個,因為另一條路是解析自由文字然後祈禱。不尋常的是它和批次不變推論出現在同一個發布裡,因為這兩件事會互相影響。語法約束解碼要走一棵 token trie,而 trie 的形狀取決於 schema,不取決於批次。這個互動處理錯了,你的「確定性」取樣器會在呼叫方傳 schema 的那一刻不再確定。
把兩個功能放進一個框架,用同一個環境變數控制確定性路徑——這種細節說明這套程式碼跑過真實流量。沒人會給展示寫這道閘。
做工程的人該拿走什麼
三件事,按多久之後會輪到你排序。
抄那個確定性開關,別抄核心。 如果你在服務任何模型,而且從沒檢查過輸出是否依賴批次構成,那是一個下午能做完的實驗,大概率會讓你意外。不需要 DeepInfer:把同一個 prompt 單獨發一次、再混進 32 條的批次裡發一次,diff 結果。
140 這個預設值是提示。 README 說保留的後綴必須覆蓋 SWA 視窗加上最大回溯長度,然後給出 V4.1 的預設值 140。這個數字透露了模型的注意力視窗和投機解碼深度,而這兩件事在整個發布裡沒有別處提過。
把排除清單當待辦看。 KV 快取、VE、prefill、decode。如果你在建服務堆疊,這四個詞就是你真正的專案。倉庫是你本來也得從零寫的那部分,現在不用寫了。
更大的點是:推論現在是模型生意待的地方。訓練拿走頭條和募資。但一個服務成本低 30% 的模型,可以定價低 30% 還賺錢,而這件事是在這樣的程式碼裡、在 DEEPINFER_BATCH_INVARIANT 這樣的開關裡、被一群為你永遠看不到的負載做最佳化的人決定的。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。