DeepInferが示した推論スタックの実像

DeepSeekは今週DeepInferを公開した。自社の大規模本番トラフィックを動かしている推論フレームワークで、Apache 2.0で利用できる。ローンチイベントもなしに1カ月で2万5000スターを超えた。フロンティアラボが実際にどうモデルを配信しているのか、どれだけ飢えているかがわかる。
日曜の午後にvLLMとベンチマークを並べる前に、READMEの「リリースに含まれないもの」を列挙した節を読んでほしい。リポジトリで最も正直な段落だ。
手に入るもの
DeepInferは、ただ1つのモデル専用のオフライン推論エンジンだ。DeepSeek-V4.1-Flash。ファミリーでもなく、十数個のモデルアダプタを持つプラグイン型でもない。1つのチェックポイントを、カーネルが文句を言わなくなるまでチューニングしたものだ。
この狭さが要点だ。機能リストは、大規模運用で金がかかるものの一覧になっている。
- 最適化カーネル — FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、および独自のTileLangカーネル。
- 並列化 — バランスの取れたコンテキスト並列を伴うアテンションデータ並列、EPLB(エキスパート単位の負荷分散。1つのエキスパートがホットスポットになるのを防ぐ仕組み)を用いたMoEエキスパート並列。
- DSparkと信頼度スケジュール検証 — ドラフト長を固定値ではなく信頼度で制御する投機的デコーディング。ドラフト長の既定値は
DEEPINFER_USE_NEXTN_DECODEで5。 - SWA有界リプレイ — プレフィックス全体を再生するのではなく、有界のサフィックスだけを再生する。V4.1の既定設定は140トークンを保持し、サフィックスがスライディングウィンドウと最大バックトラック距離を覆うことを要求する。
- 非同期スケジューリング — CPU側のバッチスケジューリングをデバイス実行と重ねる。既定で有効。
- バッチ不変推論と決定論的サンプリング — 同じ入力トークンは、バッチに他に何が入っていても同じ出力トークンを生む。
- 構造化出力 — 正規表現、JSONスキーマ、EBNF文法の制約を
SamplingParams経由で渡せる。
最後のまとまりに線を引きたい。構造化出力はほとんどの配信スタックができる。だが、1リクエストでも1000リクエストでも出力がバイト単位で同一だと約束できるものはほとんどない。多くのカーネルはバッチ形状によって異なるリダクション順序を選び、違う順序は違う浮動小数点結果を生むからだ。バッチが大きくなったせいで回帰テストが落ちた経験があるなら、これがなぜ重要かわかるはずだ。

手に入らないもの
3つあり、READMEには大げさな演出もなく書かれている。
- KVキャッシュシステム。
- VE / prefill / decodeの分離 — 「必要なエンジン機能のほとんどは実装済み」だが、デプロイ用の配線は出荷されていない。
- データ並列レプリカ間の負荷分散(prefillとdecodeを別々に)。
- DeepSeek-V4.1-Flash以外の何か。
このリストは2回読むべきだ。本番推論サービスは速いカーネルではない。速いカーネルに、エビクションを生き延びるキャッシュと、どのレプリカが冷えているかを知るルーターを足したものだ。DeepInferはエンジンを渡すが、車は渡さない。GPU8枚と再現すべきベンチマークがある研究チームなら、これはまさに正しい。来スプリントでvLLMのデプロイを置き換えたいスタートアップなら、意図的に省かれた部分の再構築に四半期を費やすことになる。
ハードウェアこそが本題
対応ハードウェアはNVIDIA SM100 GPUとHuawei Ascend 950 NPU。2行、注釈なし。
これをREADMEに書くのは並々ならぬことだ。最新のNVIDIA製品と中国製アクセラレータを対等なターゲットとして扱うフレームワークは、本番トラフィックが実際にどこで動いているか、あるいは動かすつもりかを告白している。ビルドシステムはそれを明示する。export DEEPINFER_ACCELERATOR=nvidia、あるいはascend。片方はCUDA 13、もう片方はCANN 9.2。
欧米のチームの多くには些末な話だ。中国で作る人、あるいは輸出規制の見出しに耐えなければならないものを作る人にとっては、リポジトリで最も重い一行である。
正直なインストール
前提条件は優しくない。Linux、GCC 13以降、Python 3.12、CUDA 13。そのうえで。
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py
既定のチェックポイントは初回実行時にHugging Faceから取得する。ローカルにあるならDEEPINFER_HF_MODEL_DIRを設定する。ベンチマークはprefillがSM100 GPU 4枚、decodeが64枚で測定されており、「速い」が何を意味するかの期待値を調整してくれる。4090でこの数字を再現することはできないし、コンシューマ向けの道はそもそも存在しない。
系譜も率直に書かれている。もともとvLLM上に構築され、SGLangとTensorRT-LLMのアイデアを取り入れている。潔い謝辞であり、同時に有用な地図でもある。vLLMのスケジューラとSGLangのradix cacheを知っていれば、DeepInferがどこを書き直し、どこを引き継いだか推測できる。
なぜラボはこれをオープンソースにするのか
もっともらしい理由が3つあり、互いに排他的ではない。
第一に、信頼性。配信スタックを公開することは、ベンチマークの数字が本物から出たと言うことだ。秒間トークン数は誰でも引用できる。それを生んだコードを出すのは、主張のレベルが違う。
第二に、エコシステム。配信フレームワークは推論エンジニアが住む場所だ。みながすでに知っているフレームワークでモデルがよく動けば、採用は無料でついてくる。自社フレームワークでしか動かないなら、そのフレームワーク自身がユーザーを獲得しなければならない。
第三に、採用と標準。カーネルを公開するラボは語彙を設定する。次の論文が「batch-invariant」と言えば、全員がDeepInferの意味で使う。
ただ、製品を渡しているわけではない。「エンジンをオープンソースにしました」と「このモデルを安く配信できます」の間の溝は、まさにREADMEが正直に語っている溝だ。
今月これをどう使うか
推論で飯を食っているなら、クローンして、借りられるBlackwellかAscendでオフラインの例を動かし、2つを測る。現実的なプロンプト分布での初回トークンまでの時間と、決定論的サンプリングがバッチサイズをまたいで本当に保たれるか。安く検証でき、偽装には高くつく2つの主張だ。
もっと狭く実用的な用途もある。オフラインのバッチスコアリングだ。固定の評価スイートを10回回して出力を比較したいなら、決定論的サンプリングはそれを統計的な営みからdiffに変える。ほとんどの評価ハーネスは、同じプロンプトがバッチサイズによって違う答えを返すという事実を回避するために複雑さの半分を使っている。それが保証される配信スタックは、ツールの一大カテゴリを丸ごと不要にする。
そうでなくても、このリポジトリは1時間の価値がある。ソフトウェアとしてではなく、仕様として。フロンティアラボが、どれを自社で解くべき難しい問題と見なしたかを語っている。エキスパートの負荷分散、スライディングウィンドウ注意のための有界リプレイ、信頼度でゲートする投機、ビット完全な再現性。このリストは推論コストが実際どこから来るかのまともな地図であり、V4.1-Flashが引退したずっと後まで正しいだろう。
この場合のオープンソースは、「エンジンはここ、チューニングはここ、我々が気にしているモデルはこの1つ」という意味だ。残り——キャッシュ、ルーター、地味な中間部分——はあなたが作る部分として残されている。