DeepSeek hat seinen Serving-Stack offengelegt. Zuerst lesen, was fehlt.

DeepSeek hat diese Woche DeepInfer veröffentlicht: das Inference-Framework, das den eigenen Produktionsverkehr in großem Maßstab trägt, jetzt unter Apache 2.0. Ohne Launch-Event sind über 25.000 Sterne in einem Monat zusammengekommen – ein Maß dafür, wie sehr die Leute darauf warten zu sehen, wie ein Frontier-Lab ein Modell tatsächlich ausliefert.
Bevor jetzt jemand an einem Sonntagnachmittag gegen vLLM benchmarkt: den Abschnitt im README lesen, der auflistet, was nicht im Release steckt. Es ist der ehrlichste Absatz im Repo.
Was man bekommt
DeepInfer ist eine Offline-Inference-Engine für genau ein Modell: DeepSeek-V4.1-Flash. Keine Familie, keine Plug-in-Architektur mit einem Dutzend Modell-Adaptern. Ein Checkpoint, so lange getunt, bis die Kernel nicht mehr meckern.
Diese Enge ist das Konzept. Die Funktionsliste ist ein Rundgang durch alles, was im großen Maßstab Geld kostet:
- Optimierte Kernel – FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, dazu eigene TileLang-Kernel.
- Parallelisierung – Attention-Datenparallelität mit ausbalancierter Kontextparallelität, MoE-Expert-Parallelität mit EPLB (Expert-Level-Load-Balancing, also das, was verhindert, dass ein einzelner Expert zum Hotspot wird).
- DSpark und confidence-scheduled verification – spekulatives Dekodieren, bei dem die Entwurfslänge über Confidence statt über eine feste Zahl gesteuert wird. Standard für die Entwurfslänge ist 5, gesetzt über
DEEPINFER_USE_NEXTN_DECODE. - SWA bounded replay – statt eines ganzen Präfix wird nur ein begrenztes Suffix erneut gespielt. Die Voreinstellungen für V4.1 halten 140 Tokens und verlangen, dass das Suffix das Sliding Window plus die maximale Rückverfolgungsdistanz abdeckt.
- Asynchrone Planung – Batch-Scheduling auf der CPU überlappt mit der Ausführung auf dem Gerät, standardmäßig aktiv.
- Batch-invariante Inferenz und deterministisches Sampling – dieselben Eingabe-Tokens erzeugen dieselben Ausgabe-Tokens, egal was sonst im Batch liegt.
- Strukturierte Ausgaben – Regex-, JSON-Schema- oder EBNF-Grammatik-Constraints über
SamplingParams.
Diesen letzten Block würde ich unterstreichen. Strukturierte Ausgabe können fast alle Serving-Stacks. Dass die Ausgabe byte-identisch ist, egal ob eine Anfrage oder tausend kamen, versprechen sehr wenige – weil die meisten Kernel je nach Batch-Form andere Reduktionsreihenfolgen wählen, und andere Reihenfolgen ergeben andere Fließkommaergebnisse. Wer schon einmal einen Regressionstest scheitern sah, weil der Batch größer wurde, weiß, warum das zählt.

Was man nicht bekommt
Drei Dinge, im README ohne großes Drama aufgelistet:
- Ein KV-Cache-System.
- VE-/Prefill-/Decode-Disaggregation – „die meiste nötige Engine-Funktionalität ist bereits implementiert“, aber die Deployment-Verkabelung wird nicht mitgeliefert.
- Lastverteilung über Datenparallel-Replikate, getrennt für Prefill und Decode.
- Irgendetwas außer DeepSeek-V4.1-Flash.
Die Liste zweimal lesen. Ein Produktions-Inference-Service ist kein schneller Kernel; er ist ein schneller Kernel plus ein Cache, der Eviction übersteht, plus ein Router, der weiß, welche Replik kalt ist. DeepInfer liefert den Motor, nicht das Auto. Für ein Forschungsteam mit acht GPUs und einem Benchmark, der reproduziert werden soll, ist das genau richtig. Wer als Startup hofft, es nächsten Sprint gegen sein vLLM-Deployment zu tauschen, baut ein Quartal lang die Teile nach, die bewusst weggelassen wurden.
Die Hardware ist die eigentliche Geschichte
Unterstützte Hardware: NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs. Zwei Zeilen, kein Kommentar.
Das ist eine bemerkenswerte Zeile für ein README. Ein Framework, das ein Top-NVIDIA-Teil und einen chinesischen Beschleuniger als gleichrangige Ziele behandelt, sagt damit, wo sein Produktionsverkehr läuft – oder laufen soll. Das Build-System macht es explizit: export DEEPINFER_ACCELERATOR=nvidia, oder ascend statt dessen. CUDA 13 auf dem einen Pfad, CANN 9.2 auf dem anderen.
Für die meisten westlichen Teams ist das eine Randnotiz. Für alle, die in China bauen – oder etwas, das eine Exportkontroll-Schlagzeile überstehen muss –, ist es die folgenreichste Zeile im Repo.
Die Installation, ehrlich betrachtet
Die Voraussetzungen sind nicht zart: Linux, GCC 13 oder neuer, Python 3.12, CUDA 13. Dann:
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py
Der Standard-Checkpoint kommt beim ersten Lauf von Hugging Face; mit DEEPINFER_HF_MODEL_DIR lässt sich ein lokaler Pfad setzen. Die Benchmarks wurden auf vier SM100-GPUs für Prefill und vierundsechzig für Decode gemessen – das sollte die Erwartungen kalibrieren, was „schnell“ hier heißt. Auf einer 4090 werden diese Zahlen nicht reproduzierbar sein, und einen Consumer-Pfad gibt es überhaupt nicht.
Die Abstammung wird offen genannt: ursprünglich auf vLLM gebaut, mit Ideen aus SGLang und TensorRT-LLM. Das ist eine faire Anerkennung und zugleich eine brauchbare Karte. Wer vLLMs Scheduler und SGLangs Radix-Cache kennt, kann erraten, welche Teile DeepInfer neu geschrieben und welche es geerbt hat.
Warum Labs so etwas open-sourcen
Drei plausible Gründe, und sie schließen sich nicht aus.
Erstens Glaubwürdigkeit. Den Serving-Stack zu veröffentlichen sagt: Die Benchmark-Zahlen kommen aus etwas Echtem. Tokens pro Sekunde kann jeder zitieren. Den Code auszuliefern, der sie erzeugt hat, ist eine andere Kategorie von Behauptung.
Zweitens Ökosystem. Serving-Frameworks sind der Ort, an dem Inference-Ingenieure leben. Läuft das eigene Modell gut auf dem Framework, das alle schon kennen, kommt die Verbreitung gratis. Läuft es nur auf dem eigenen Framework, muss das Framework seine Nutzer selbst verdienen.
Drittens Personal und Standards. Ein Lab, das seine Kernel veröffentlicht, setzt das Vokabular. Wenn das nächste Paper „batch-invariant“ sagt, meinen alle das, was DeepInfer meint.
Was es nicht tut: ein Produkt in die Hand geben. Die Lücke zwischen „wir haben unsere Engine open-sourced“ und „dieses Modell lässt sich billig servieren“ ist genau die Lücke, die das README einräumt.
Was man diesen Monat damit tun sollte
Wer beruflich Inference betreibt: klonen, das Offline-Beispiel auf irgendeiner leihbaren Blackwell- oder Ascend-Hardware laufen lassen und zwei Dinge messen – Time to First Token bei einer realistischen Prompt-Verteilung und ob deterministisches Sampling über Batch-Größen hinweg wirklich hält. Das sind die zwei Behauptungen, die billig zu prüfen und teuer zu fälschen sind.
Es gibt auch einen engeren, praktischeren Nutzen: Offline-Batch-Scoring. Wer eine feste Evaluationssuite zehnmal laufen lassen und die Ausgaben vergleichen will, macht aus einer statistischen Übung einen Diff. Die meisten Eval-Harnesses stecken die Hälfte ihrer Komplexität darein, damit umzugehen, dass derselbe Prompt bei anderer Batch-Größe andere Antworten liefert. Ein Serving-Stack, der das garantiert, entfernt eine ganze Werkzeugkategorie.
Wer das nicht tut, sollte dem Repo trotzdem eine Stunde geben. Nicht als Software, als Spezifikation. Ein Frontier-Lab sagt hier, welche Probleme es für so schwer hielt, dass es sie selbst lösen musste: Expert-Load-Balance, begrenztes Replay für Sliding-Window-Attention, confidence-gesteuerte Spekulation, bitgenaue Reproduzierbarkeit. Diese Liste ist eine brauchbare Karte der Stellen, an denen Inference-Kosten wirklich entstehen, und sie wird noch gelten, wenn V4.1-Flash längst abgelöst ist.
Open Source heißt in diesem Fall: hier ist der Motor, hier ist das Tuning, hier ist das eine Modell, das uns interessiert. Der Rest – Cache, Router, das unglamouröse Mittelfeld – bleibt die Arbeit, die man selbst macht.
Verwandte Artikel
Eine community-gepflegte Tabelle von Taps, die Werbung in chinesischen Android-Builds abschaltet
Es fasst das System nicht an, entsperrt nichts, flasht nichts. Es legt nur die Schalter um, die die Hersteller ohnehin vorgesehen haben. Der Preis ist eine Liste, die jemand weiterführen muss.
GPT Image 2.6 hielt den Tokenpreis und erhöhte die Rechnung
GPT Image 2.6 übernimmt jeden Tokenpreis von 2.5 und kostet pro Bild dennoch mehr, weil ein größerer Teil der Arbeit in Ausgabe-Token landet. Elf Tage nach dem Start sagt die Preisstruktur mehr als jede Rangliste.
Jemand hat IDM von außen nachgebaut und aufgeschrieben, was er nicht angefasst hat
Eine Rust-Neuimplementierung von Internet Download Manager verspricht 5x Tempo und 86 Sprachen. Das interessantere Dokument ist der Absatz, der erklärt, wie sie ohne jede Kopie entstanden ist.
Rune ist ein Rust-UI-Framework, das gebaut wurde, damit ein Agent seine eigene Arbeit prüfen kann
Rune rendert headless, gibt seinen Elementbaum aus und nimmt geskriptete Eingaben an. Damit bekommt ein Coding-Agent ein Signal zum Diffen, das ein Screenshot nie liefert. Das Framework ist Pre-Release und nimmt keine Pull Requests an.