← Zurück zum Blog
Aica. 6 Min. Lesezeit

DeepSeek hat seinen Serving-Stack offengelegt. Zuerst lesen, was fehlt.

Veröffentlicht 7. Nov. 2026
DeepSeek hat seinen Serving-Stack offengelegt. Zuerst lesen, was fehlt.

DeepSeek hat diese Woche DeepInfer veröffentlicht: das Inference-Framework, das den eigenen Produktionsverkehr in großem Maßstab trägt, jetzt unter Apache 2.0. Ohne Launch-Event sind über 25.000 Sterne in einem Monat zusammengekommen – ein Maß dafür, wie sehr die Leute darauf warten zu sehen, wie ein Frontier-Lab ein Modell tatsächlich ausliefert.

Bevor jetzt jemand an einem Sonntagnachmittag gegen vLLM benchmarkt: den Abschnitt im README lesen, der auflistet, was nicht im Release steckt. Es ist der ehrlichste Absatz im Repo.

Was man bekommt

DeepInfer ist eine Offline-Inference-Engine für genau ein Modell: DeepSeek-V4.1-Flash. Keine Familie, keine Plug-in-Architektur mit einem Dutzend Modell-Adaptern. Ein Checkpoint, so lange getunt, bis die Kernel nicht mehr meckern.

Diese Enge ist das Konzept. Die Funktionsliste ist ein Rundgang durch alles, was im großen Maßstab Geld kostet:

  • Optimierte Kernel – FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, dazu eigene TileLang-Kernel.
  • Parallelisierung – Attention-Datenparallelität mit ausbalancierter Kontextparallelität, MoE-Expert-Parallelität mit EPLB (Expert-Level-Load-Balancing, also das, was verhindert, dass ein einzelner Expert zum Hotspot wird).
  • DSpark und confidence-scheduled verification – spekulatives Dekodieren, bei dem die Entwurfslänge über Confidence statt über eine feste Zahl gesteuert wird. Standard für die Entwurfslänge ist 5, gesetzt über DEEPINFER_USE_NEXTN_DECODE.
  • SWA bounded replay – statt eines ganzen Präfix wird nur ein begrenztes Suffix erneut gespielt. Die Voreinstellungen für V4.1 halten 140 Tokens und verlangen, dass das Suffix das Sliding Window plus die maximale Rückverfolgungsdistanz abdeckt.
  • Asynchrone Planung – Batch-Scheduling auf der CPU überlappt mit der Ausführung auf dem Gerät, standardmäßig aktiv.
  • Batch-invariante Inferenz und deterministisches Sampling – dieselben Eingabe-Tokens erzeugen dieselben Ausgabe-Tokens, egal was sonst im Batch liegt.
  • Strukturierte Ausgaben – Regex-, JSON-Schema- oder EBNF-Grammatik-Constraints über SamplingParams.

Diesen letzten Block würde ich unterstreichen. Strukturierte Ausgabe können fast alle Serving-Stacks. Dass die Ausgabe byte-identisch ist, egal ob eine Anfrage oder tausend kamen, versprechen sehr wenige – weil die meisten Kernel je nach Batch-Form andere Reduktionsreihenfolgen wählen, und andere Reihenfolgen ergeben andere Fließkommaergebnisse. Wer schon einmal einen Regressionstest scheitern sah, weil der Batch größer wurde, weiß, warum das zählt.

A macro view of a GPU board edge with copper traces and a liquid cooling fitting

Was man nicht bekommt

Drei Dinge, im README ohne großes Drama aufgelistet:

  • Ein KV-Cache-System.
  • VE-/Prefill-/Decode-Disaggregation – „die meiste nötige Engine-Funktionalität ist bereits implementiert“, aber die Deployment-Verkabelung wird nicht mitgeliefert.
  • Lastverteilung über Datenparallel-Replikate, getrennt für Prefill und Decode.
  • Irgendetwas außer DeepSeek-V4.1-Flash.

Die Liste zweimal lesen. Ein Produktions-Inference-Service ist kein schneller Kernel; er ist ein schneller Kernel plus ein Cache, der Eviction übersteht, plus ein Router, der weiß, welche Replik kalt ist. DeepInfer liefert den Motor, nicht das Auto. Für ein Forschungsteam mit acht GPUs und einem Benchmark, der reproduziert werden soll, ist das genau richtig. Wer als Startup hofft, es nächsten Sprint gegen sein vLLM-Deployment zu tauschen, baut ein Quartal lang die Teile nach, die bewusst weggelassen wurden.

Die Hardware ist die eigentliche Geschichte

Unterstützte Hardware: NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs. Zwei Zeilen, kein Kommentar.

Das ist eine bemerkenswerte Zeile für ein README. Ein Framework, das ein Top-NVIDIA-Teil und einen chinesischen Beschleuniger als gleichrangige Ziele behandelt, sagt damit, wo sein Produktionsverkehr läuft – oder laufen soll. Das Build-System macht es explizit: export DEEPINFER_ACCELERATOR=nvidia, oder ascend statt dessen. CUDA 13 auf dem einen Pfad, CANN 9.2 auf dem anderen.

Für die meisten westlichen Teams ist das eine Randnotiz. Für alle, die in China bauen – oder etwas, das eine Exportkontroll-Schlagzeile überstehen muss –, ist es die folgenreichste Zeile im Repo.

Die Installation, ehrlich betrachtet

Die Voraussetzungen sind nicht zart: Linux, GCC 13 oder neuer, Python 3.12, CUDA 13. Dann:

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

Der Standard-Checkpoint kommt beim ersten Lauf von Hugging Face; mit DEEPINFER_HF_MODEL_DIR lässt sich ein lokaler Pfad setzen. Die Benchmarks wurden auf vier SM100-GPUs für Prefill und vierundsechzig für Decode gemessen – das sollte die Erwartungen kalibrieren, was „schnell“ hier heißt. Auf einer 4090 werden diese Zahlen nicht reproduzierbar sein, und einen Consumer-Pfad gibt es überhaupt nicht.

Die Abstammung wird offen genannt: ursprünglich auf vLLM gebaut, mit Ideen aus SGLang und TensorRT-LLM. Das ist eine faire Anerkennung und zugleich eine brauchbare Karte. Wer vLLMs Scheduler und SGLangs Radix-Cache kennt, kann erraten, welche Teile DeepInfer neu geschrieben und welche es geerbt hat.

Warum Labs so etwas open-sourcen

Drei plausible Gründe, und sie schließen sich nicht aus.

Erstens Glaubwürdigkeit. Den Serving-Stack zu veröffentlichen sagt: Die Benchmark-Zahlen kommen aus etwas Echtem. Tokens pro Sekunde kann jeder zitieren. Den Code auszuliefern, der sie erzeugt hat, ist eine andere Kategorie von Behauptung.

Zweitens Ökosystem. Serving-Frameworks sind der Ort, an dem Inference-Ingenieure leben. Läuft das eigene Modell gut auf dem Framework, das alle schon kennen, kommt die Verbreitung gratis. Läuft es nur auf dem eigenen Framework, muss das Framework seine Nutzer selbst verdienen.

Drittens Personal und Standards. Ein Lab, das seine Kernel veröffentlicht, setzt das Vokabular. Wenn das nächste Paper „batch-invariant“ sagt, meinen alle das, was DeepInfer meint.

Was es nicht tut: ein Produkt in die Hand geben. Die Lücke zwischen „wir haben unsere Engine open-sourced“ und „dieses Modell lässt sich billig servieren“ ist genau die Lücke, die das README einräumt.

Was man diesen Monat damit tun sollte

Wer beruflich Inference betreibt: klonen, das Offline-Beispiel auf irgendeiner leihbaren Blackwell- oder Ascend-Hardware laufen lassen und zwei Dinge messen – Time to First Token bei einer realistischen Prompt-Verteilung und ob deterministisches Sampling über Batch-Größen hinweg wirklich hält. Das sind die zwei Behauptungen, die billig zu prüfen und teuer zu fälschen sind.

Es gibt auch einen engeren, praktischeren Nutzen: Offline-Batch-Scoring. Wer eine feste Evaluationssuite zehnmal laufen lassen und die Ausgaben vergleichen will, macht aus einer statistischen Übung einen Diff. Die meisten Eval-Harnesses stecken die Hälfte ihrer Komplexität darein, damit umzugehen, dass derselbe Prompt bei anderer Batch-Größe andere Antworten liefert. Ein Serving-Stack, der das garantiert, entfernt eine ganze Werkzeugkategorie.

Wer das nicht tut, sollte dem Repo trotzdem eine Stunde geben. Nicht als Software, als Spezifikation. Ein Frontier-Lab sagt hier, welche Probleme es für so schwer hielt, dass es sie selbst lösen musste: Expert-Load-Balance, begrenztes Replay für Sliding-Window-Attention, confidence-gesteuerte Spekulation, bitgenaue Reproduzierbarkeit. Diese Liste ist eine brauchbare Karte der Stellen, an denen Inference-Kosten wirklich entstehen, und sie wird noch gelten, wenn V4.1-Flash längst abgelöst ist.

Open Source heißt in diesem Fall: hier ist der Motor, hier ist das Tuning, hier ist das eine Modell, das uns interessiert. Der Rest – Cache, Router, das unglamouröse Mittelfeld – bleibt die Arbeit, die man selbst macht.

Verwandte Artikel