DeepSeekが推論エンジンだけを公開、KVキャッシュとサービス層は渡さず

DeepSeekは今週、DeepInferを公開した。READMEには「DeepSeekの大規模本番サービスを支える高性能推論フレームワーク」とある。対応するモデルはDeepSeek-V4.1-Flashただ一つで、含まれないものの一覧も添えられている。KVキャッシュシステムと、VE/Prefill/Decodeのサービス層だ。
これが今回のリリースで最も面白い点だ。製品ではない。エンジンブロックだけを、トランスミッション抜きで手渡してきた。
スター数は1か月足らずで約2万5000。それでも人々はこの身振りを理解したようだ。
箱の中身は何か
機能一覧は、規模が出て初めて現れる問題への回答集のように読める。
並列化。 Attention DP、balanced CP、EPLB付きのMoE EP。EPLBはexpert-parallel load balancingのことで、mixture-of-expertsモデルを配信するときに誰もが過小評価する部分だ。ルーターはトラフィックを均等に振らない。だから一部のGPUに人気の専門家が集まり、3倍の仕事を抱えることになる。
信頼度でスケジュールする検証を備えたDSpark。 投機的デコードにひとひねり加えたものだ。ドラフトトークンを提案し、そのあと信頼度の推定がドラフトのどこまでを検証するかを決める。DEEPINFER_ENABLE_MTP_VARLEN=1 を設定し、DEEPINFER_USE_NEXTN_DECODE がドラフト長の上限を決める。既定値は5だ。
SWAの有界リプレイ。 スライディングウィンドウ注意では、デコーダはprefillに全プレフィックスを必要としない。必要なのはウィンドウと、許容する巻き戻し長だけだ。READMEの既定は compact モードで保持トークン140。prefillの仕事を削り、出力は同じに保つ。
非同期スケジューリング。 CPU側のバッチスケジューリングをデバイス実行と重ねる。既定で有効。地味だが、リポジトリ内のどの単一カーネル最適化よりも価値があるかもしれない。
そのあとに、速度とは無関係な2つの機能が続く。
静かな主役はバッチ不変性
DEEPINFER_BATCH_INVARIANT=1 を設定すると、バッチに何が同居していてもモデルは同一の結果を返す。これを DEEPINFER_ENABLE_MTP_VARLEN=0 と固定の seq_seed と組み合わせれば、決定的なサンプリングになる。同じ入力トークン、同じパラメータ、同じ出力が毎回得られる。
これを宣伝する人はほとんどいない。必要とする人がほとんどいないからだ。必要になるまでは。
必要になる瞬間は、顧客が「昨日は間違っていて今日は正しい、何が変わったのか」と言うときだ。答えがバッチ構成に依存するなら、答えはサーバーの混み具合に依存する。午前3時と午後3時に同じ質問をした2人が別の文章を受け取り、しかも探すべきバグはない。壊れているものがないからだ。本番で見つかるには最悪の性質で、しかも「LLMは確率的だから」で覆い隠すのは極めて簡単だ。
バッチ不変推論があって初めて、回帰テストが書ける。評価指標の数字に意味が生まれる。そして率直に言えば、これはスループットを犠牲にする機能だ。既定でオフなのも、今回NVIDIAのハードウェアに限定されているのもそのためだ。

対応ハードは2系統、ひとつは意外
対応ハードウェアはNVIDIA SM100 GPUとHuawei Ascend 950 NPUとされている。「NVIDIAとAMD」ではない。「CUDAとROCm」でもない。SM100とAscend 950だ。
DeepSeekは以前からAscend側の基盤を公開してきた。TileLang、DeepGEMM、DeepEP、FlashMLA、DeepSelectのいずれにもHuaweiスタック向けの対応物がある。DeepInferのカーネル一覧も同じ部品に自作のTileLangカーネルを加えた構成で、NPU対応はカーネル層ではなくフレームワーク層で宣言している。
この区別は意味がある。カーネル層で第2のアクセラレータを支えるとは、カーネルをもう1セット書くことだ。同じスケジューラと同じ並列戦略のままフレームワーク層で支えるとは、抽象化が最初から移植可能に設計されていたということだ。性能が出るかは別の問いで、READMEはそれに答えていない。
なぜサービスではなくエンジンを公開するのか
省略された部分こそ戦略だ。KVキャッシュシステムとprefill/decodeの分割は、推論エンジンを配信ビジネスに変える当の部品だ。同時に、責任を持って公開するのが最も難しい部分でもある。自社のトラフィック形状、SLA、ハードウェア構成についての前提が埋め込まれているからだ。
残るのは、公開することで得をする部分だ。カーネル、スケジューリング、並列化、精度の挙動。自分のモデルを普及させたいラボなら、エンジンを公開すればあらゆるクラウド事業者が同じ性能数値を出せるようになり、競合は「あの速さは非公開の裏技だ」と言えなくなる。
実務的な側面もある。DeepSeek-V4.1-Flashは安くて速いモデルだ。安くて速いモデルは配信効率で生死が決まる。利幅は薄く、量は膨大だからだ。スループット5%の改善は、工学的な好奇心ではなく事業の結果になる。エンジンをエコシステムに渡すことは、自社モデルを再販する全員の底上げになる。
構造化出力と、変更履歴に載らないコスト
一覧の最後の機能は読み飛ばしやすい。生成を正規表現、JSONスキーマ、EBNF文法に制約するもので、サンプリングパラメータの so_args で渡す。
真面目な本番システムはどれもこれを必要とする。代替は自由文をパースして祈ることだからだ。珍しいのは、これがバッチ不変推論と同じリリースに入っている点で、両者は干渉する。文法制約デコードはトークンのトライをたどり、そのトライの形はスキーマに依存する。バッチには依存しない。この相互作用を間違えると、「決定的」なサンプラーは呼び出し側がスキーマを送った瞬間に決定的でなくなる。
両方の機能を1つのフレームワークに入れ、決定性の経路を単一の環境変数で制御している。これはこのコードが実際のトラフィックを捌いてきたことを示す類の細部だ。デモのためにそんなガードは書かない。
実務者が持ち帰るべきこと
3つある。自分に効いてくる順に並べる。
コピーすべきはカーネルではなく決定性のスイッチだ。 何かのモデルを配信していて、出力がバッチ構成に依存するかどうかを一度も確認したことがないなら、それは半日で終わる実験で、おそらく驚く結果になる。DeepInferは要らない。同じプロンプトを1件のバッチとして送り、32件のバッチの一部としても送り、結果をdiffすればいい。
140トークンという既定値はヒントだ。 READMEは、保持するサフィックスがSWAウィンドウと最大巻き戻し長をカバーしなければならないと述べ、そのうえでV4.1の既定として140を挙げる。この数字は、リリースのどこにも書かれていないモデルの注意ウィンドウと投機的デコードの深さを教えてくれる。
除外項目をチェックリストとして読む。 KVキャッシュ、VE、prefill、decode。配信スタックを組むなら、この4語が実際のプロジェクトだ。リポジトリは、本来ならゼロから書かねばならなかった部分で、それが今は要らない。
より大きな論点は、モデルビジネスの現在地が推論にあるということだ。訓練が注目と資金調達を集める。だが配信コストが30%安いモデルは30%安く値付けしても儲かる。そしてそれはこの種のコードで、DEEPINFER_BATCH_INVARIANT のようなスイッチで、あなたが決して見ないワークロードに向けて最適化する人たちによって決まる。
関連記事
Antigravityのリモートエージェント、クラウドVMで動く代わりに手放すもの
Antigravity 2.29でリモートエージェントが登場し、セッションとツールがGoogle管理のクラウドVMで動くようになった。ノートPCを閉じても作業は続くが、ローカルのMCPサーバーやskillsは失われる。
NVIDIA、世界モデル「Cosmos 3」の派生4種とデコード基盤「VFlash」を相次いで公開
NVIDIAは11月5日、16BのCosmos 3 Nanoを専門化した4つのチェックポイントをOpenMDW1.1で公開し、学習レシピと推論コードも添えた。翌日には幾何出力を並列生成するデコード基盤VFlashを発表している。
GitHubトレンドの4分の1を「エージェントskills」が占め、導入方法は4通りに分裂
11月8日のGitHubデイリートレンド15件のうち4件がエージェントskillsのリポジトリだった。形式は`SKILL.md`とYAMLフロントマターだけで単純だが、導入経路は4製品でばらばらで、重複が優先順位の問題を生む。
Thinking Machinesの「Inkling 2 Small」、594Bの疎なMoEで86.3% 重みは「来週」のまま
Thinking Machinesは11月5日、総パラメータ594B・トークンあたり17B活性の疎なMoE「Inkling 2 Small」を発表した。SWE-Bench Pro v2 Hardで86.3%を記録し、Apache 2.0の重みは公開1週間後以降とされる。