DeepSeek veröffentlicht den Motor – und behält das Getriebe

DeepSeek hat diese Woche DeepInfer veröffentlicht. Im README steht, es sei „das Hochleistungs-Inferenz-Framework hinter den großskaligen Produktionsdiensten von DeepSeek“. Es unterstützt genau ein Modell, DeepSeek-V4.1-Flash, und kommt mit einer Liste dessen, was fehlt: ein KV-Cache-System und die Service-Schichten VE/Prefill/Decode.
Genau das macht die Veröffentlichung interessant. Es ist kein Produkt. Es ist der Motorblock, abgegeben ohne Getriebe.
Die rund 25 000 Sterne in unter einem Monat sprechen dafür, dass die Geste trotzdem verstanden wurde.
Was wirklich in der Kiste liegt
Die Funktionsliste liest sich wie eine Sammlung von Antworten auf Probleme, die erst im großen Maßstab auftreten.
Parallelität. Attention-DP, balanciertes CP, MoE-EP mit EPLB. EPLB steht für expert-parallel load balancing, den Teil des Servings eines Mixture-of-Experts-Modells, den alle unterschätzen: Der Router verteilt den Verkehr nicht gleichmäßig, also hängen einige GPUs an heißen Experten und arbeiten dreimal so viel.
DSpark mit konfidenzgesteuerter Verifikation. Spekulatives Decoding mit einer Variante: Draft-Tokens werden vorgeschlagen, dann entscheidet eine Konfidenzschätzung, wie viel des Entwurfs geprüft wird. Man setzt DEEPINFER_ENABLE_MTP_VARLEN=1, und DEEPINFER_USE_NEXTN_DECODE begrenzt die Entwurfslänge, standardmäßig auf fünf.
Begrenztes Replay mit SWA. Sliding-Window-Attention heißt, dass der Decoder für den Prefill nicht das ganze Präfix braucht, sondern das Fenster plus die erlaubte Backtracking-Länge. Die Standardwerte im README sind compact-Modus mit 140 gehaltenen Tokens. Weniger Prefill-Arbeit, gleiche Ausgabe.
Asynchrones Scheduling. CPU-seitige Batch-Planung überlappt mit der Ausführung auf dem Device. Standardmäßig an. Unspektakulär und wahrscheinlich mehr wert als jede einzelne Kernel-Optimierung im Repo.
Dann die beiden Funktionen, bei denen es überhaupt nicht um Geschwindigkeit geht.
Batch-Invarianz ist die eigentliche Schlagzeile
Mit DEEPINFER_BATCH_INVARIANT=1 liefert das Modell identische Ergebnisse, egal was sonst im Batch steckt. Zusammen mit DEEPINFER_ENABLE_MTP_VARLEN=0 und einem festen seq_seed ergibt das deterministisches Sampling: gleiche Eingabe-Tokens, gleiche Parameter, gleiche Ausgabe, jedes Mal.
Kaum jemand wirbt damit, weil kaum jemand es braucht – bis es soweit ist.
Der Moment kommt, wenn ein Kunde sagt: „Diese Antwort war gestern falsch und heute richtig, was hat sich geändert.“ Wenn die Antwort von der Batch-Zusammensetzung abhängt, hängt sie davon ab, wie ausgelastet der Server war. Zwei Nutzer, die um 3 Uhr und um 15 Uhr dieselbe Frage stellen, können unterschiedlichen Text bekommen, und es gibt keinen Bug zu finden, weil nichts kaputt ist. Diese Eigenschaft entdeckt man sehr ungerne in der Produktion, und man kaschiert sie sehr leicht mit „LLMs sind stochastisch“.
Batch-invariante Inferenz ist das, was einen Regressionstest überhaupt möglich macht. Sie gibt einer Eval-Zahl Bedeutung. Und offen gesagt kostet sie Durchsatz – deshalb ist sie standardmäßig aus und in diesem Release auf NVIDIA-Hardware beschränkt.

Zwei Hardware-Ziele, eines davon überraschend
Als unterstützte Hardware sind NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs genannt. Nicht „NVIDIA und AMD“. Nicht „CUDA und ROCm“. SM100 und Ascend 950.
DeepSeek veröffentlicht seit einiger Zeit Infrastruktur für die Ascend-Seite: TileLang, DeepGEMM, DeepEP, FlashMLA und DeepSelect haben alle Gegenstücke im Huawei-Stack. Die Kernel-Liste von DeepInfer nennt dieselben Komponenten plus eigene TileLang-Kernel und erklärt die NPU-Unterstützung dann auf Framework-Ebene statt auf Kernel-Ebene.
Das ist ein bedeutsamer Unterschied. Einen zweiten Beschleuniger auf Kernel-Ebene zu unterstützen heißt, einen zweiten Satz Kernel zu schreiben. Ihn auf Framework-Ebene zu unterstützen, mit demselben Scheduler und derselben Parallelisierungsstrategie, heißt, die Abstraktion war von Anfang an portabel gedacht. Ob sie schnell ist, ist eine andere Frage, und das README beantwortet sie nicht.
Warum der Motor offen ist und der Dienst nicht
Die Auslassungen sind die Strategie. Ein KV-Cache und eine Trennung von Prefill und Decode sind genau die Teile, die aus einer Inferenz-Engine ein Serving-Geschäft machen. Sie sind auch am schwersten verantwortungsvoll zu veröffentlichen, weil sie Annahmen über Verkehrsform, SLA und Hardware-Mix kodieren.
Übrig bleibt der Teil, der von Öffentlichkeit profitiert: Kernel, Scheduling, Parallelität, Präzisionsverhalten. Wer als Labor will, dass sein Modell übernommen wird, ermöglicht mit der Veröffentlichung jedem Cloud-Anbieter, die eigenen Leistungswerte zu erreichen, und nimmt Wettbewerbern das Argument, die Geschwindigkeit sei ein interner Trick.
Dazu kommt ein praktischer Punkt. DeepSeek-V4.1-Flash ist ein billiges, schnelles Modell. Billige schnelle Modelle stehen und fallen mit der Serving-Effizienz, weil die Marge dünn und das Volumen riesig ist. Fünf Prozent mehr Durchsatz sind ein Geschäftsergebnis, keine Ingenieurskuriosität. Den Motor an das Ökosystem zu geben hebt den Boden für alle, die das Modell weiterverkaufen.
Strukturierte Ausgaben und die Kosten, die im Changelog fehlen
Die letzte Funktion überliest man leicht: die Generierung auf eine Regex, ein JSON-Schema oder eine EBNF-Grammatik beschränken, übergeben in so_args bei den Sampling-Parametern.
Jedes ernsthafte Produktionssystem braucht das, weil die Alternative Freitext-Parsing mit Hoffnung ist. Ungewöhnlich ist, es im selben Release wie batch-invariante Inferenz zu sehen, denn beide Wechselwirken. Grammatikgesteuertes Decoding läuft einen Token-Trie ab, und die Form dieses Trie hängt vom Schema ab, nicht vom Batch. Wer die Wechselwirkung falsch baut, dessen „deterministischer“ Sampler ist nicht mehr deterministisch, sobald ein Aufrufer ein Schema schickt.
Beide Funktionen in einem Framework zu bündeln, mit einer einzigen Umgebungsvariable vor dem Determinismus-Pfad, ist die Art Detail, die verrät, dass dieser Code echten Verkehr bedient hat. Für eine Demo schreibt niemand diese Absicherung.
Was Praktiker daraus mitnehmen sollten
Drei Dinge, sortiert danach, wann sie relevant werden.
Den Determinismus-Schalter kopieren, nicht die Kernel. Wer ein Modell betreibt und nie geprüft hat, ob die Ausgaben von der Batch-Zusammensetzung abhängen, hat ein Experiment für einen Nachmittag vor sich, und es wird ihn wahrscheinlich überraschen. Dafür braucht es kein DeepInfer: denselben Prompt als Batch von eins und in einem Batch von zweiunddreißig senden, Ergebnisse vergleichen.
Der Standardwert von 140 Tokens ist ein Hinweis. Das README sagt, das gehaltene Suffix müsse das SWA-Fenster plus die maximale Backtracking-Länge abdecken, und nennt dann 140 als V4.1-Standard. Diese Zahl verrät etwas über das Attention-Fenster und die Tiefe des spekulativen Decodings, das sonst nirgends im Release steht.
Die Auslassungen als Checkliste lesen. KV-Cache, VE, Prefill, Decode. Wer einen Serving-Stack baut, hat hier sein eigentliches Projekt. Das Repo ist der Teil, den man ohnehin von Grund auf hätte schreiben müssen – jetzt ist er da.
Der größere Punkt: Inferenz ist inzwischen der Ort, an dem das Modellgeschäft stattfindet. Training bekommt die Schlagzeilen und die Finanzierungsrunden. Aber ein Modell, dessen Serving 30 % weniger kostet, lässt sich 30 % günstiger anbieten und verdient noch Geld – entschieden in Code wie diesem, in Schaltern wie DEEPINFER_BATCH_INVARIANT, von Leuten, die für eine Last optimieren, die man selbst nie sieht.
Verwandte Artikel
Google hat Coding-Agenten vom Laptop geholt, und der Berechtigungsdialog bleibt der Engpass
Die Leitungen sind fast gelöst. Der Berechtigungsdialog bleibt der menschliche Engpass.
NVIDIA gibt vier 16B-Weltmodelle frei, und der Teil ohne Benchmark ist Policy-Learning
NVIDIA sagt, es sei ungemessen, ob diese Modelle Policy-Learning tragen. Der Satz gehört in jede Geschichte über offene Weltmodelle.
Vier der Top-Repos auf GitHub sind heute Skill-Bibliotheken, und jetzt haben wir ein Packaging-Problem
Die Verbreitung läuft. Das interessante Scheitern sind vier nicht kompatible Wege, dasselbe Objekt zu installieren.
Thinking Machines liefert ein 594B-Modell und schiebt die Gewichte auf nächste Woche
Ein starkes Modell, ein dokumentiertes Rezept, eine unterschätzte Fähigkeit und ein Termin, den das Labor nicht zugesagt hat.