← Retour au blog
AiEnviron 7 min de lecture

DeepInfer : ce que DeepSeek ouvre, et surtout ce qu'il laisse dehors

Publié le 7 nov. 2026
DeepInfer : ce que DeepSeek ouvre, et surtout ce qu'il laisse dehors

DeepSeek a publié DeepInfer cette semaine : le framework d'inférence qui sert son propre trafic de production à grande échelle, désormais disponible sous Apache 2.0. Il a dépassé les 25 000 étoiles en un mois sans événement de lancement, ce qui en dit long sur la soif de voir comment un laboratoire de pointe sert réellement un modèle.

Avant de le comparer à vLLM un dimanche après-midi, lisez dans le README la section qui liste ce qui n'est pas dans la version publiée. C'est le paragraphe le plus honnête du dépôt.

Ce que vous obtenez

DeepInfer est un moteur d'inférence hors ligne pour un seul modèle : DeepSeek-V4.1-Flash. Pas une famille, pas une architecture à greffons avec une douzaine d'adaptateurs. Un checkpoint, réglé jusqu'à ce que les kernels cessent de protester.

Cette étroitesse est justement le propos. La liste des fonctions parcourt tout ce qui coûte cher à l'échelle :

  • Kernels optimisés — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, plus des kernels TileLang maison.
  • Parallélisme — parallélisme de données sur l'attention avec parallélisme de contexte équilibré, parallélisme d'experts MoE avec EPLB (équilibrage de charge au niveau des experts, ce qui empêche un expert de devenir un point chaud).
  • DSpark et vérification planifiée par la confiance — décodage spéculatif dont la longueur de brouillon est pilotée par la confiance plutôt que par un nombre fixe. La longueur par défaut est 5 via DEEPINFER_USE_NEXTN_DECODE.
  • Rejeu borné SWA — plutôt que de rejouer tout un préfixe, on ne rejoue qu'un suffixe borné. Les réglages par défaut de V4.1 conservent 140 tokens et exigent que le suffixe couvre la fenêtre glissante plus la distance maximale de retour arrière.
  • Ordonnancement asynchrone — l'ordonnancement des lots sur CPU recouvre l'exécution sur l'accélérateur, activé par défaut.
  • Inférence invariante au lot et échantillonnage déterministe — les mêmes tokens d'entrée produisent les mêmes tokens de sortie, quel que soit le reste du lot.
  • Sorties structurées — contraintes par regex, schéma JSON ou grammaire EBNF, transmises via SamplingParams.

C'est ce dernier groupe que je soulignerais. Presque toutes les piles de serving savent produire une sortie structurée. Très peu peuvent promettre une sortie identique à l'octet près selon que vous envoyez une requête ou mille, parce que la plupart des kernels choisissent des ordres de réduction différents selon la forme du lot, et des ordres différents donnent des résultats flottants différents. Si un test de non-régression vous a déjà lâché parce que le lot avait grossi, vous savez pourquoi cela compte.

A macro view of a GPU board edge with copper traces and a liquid cooling fitting

Ce que vous n'obtenez pas

Trois choses, énoncées dans le README sans dramatisation :

  • Un système de cache KV.
  • La désagrégation VE / prefill / decode — « l'essentiel des fonctions du moteur est déjà implémenté », mais la plomberie de déploiement n'est pas livrée.
  • L'équilibrage de charge entre réplicas de parallélisme de données, séparément pour le prefill et le decode.
  • Autre chose que DeepSeek-V4.1-Flash.

Relisez cette liste deux fois. Un service d'inférence en production, ce n'est pas un kernel rapide ; c'est un kernel rapide, plus un cache qui survit à l'éviction, plus un routeur qui sait quel réplica est froid. DeepInfer fournit le moteur, pas la voiture. Pour une équipe de recherche avec huit GPU et un benchmark à reproduire, c'est exactement ce qu'il faut. Pour une startup qui espère remplacer son déploiement vLLM au prochain sprint, il faudra un trimestre pour reconstruire les pièces délibérément laissées de côté.

Le matériel est la vraie histoire

Matériel pris en charge : GPU NVIDIA SM100 et NPU Huawei Ascend 950. Deux lignes, aucun commentaire.

C'est une chose remarquable à mettre dans un README. Un framework qui traite un haut de gamme NVIDIA et un accélérateur chinois comme des cibles équivalentes vous dit où tourne réellement son trafic de production, ou où il compte le faire tourner. Le système de build le rend explicite : export DEEPINFER_ACCELERATOR=nvidia, ou ascend à la place. CUDA 13 d'un côté, CANN 9.2 de l'autre.

Pour la plupart des équipes occidentales, c'est anecdotique. Pour quiconque construit en Chine, ou construit quelque chose qui doit survivre à un gros titre sur le contrôle des exportations, c'est la ligne la plus lourde de conséquences du dépôt.

L'installer, honnêtement

Les prérequis ne sont pas tendres : Linux, GCC 13 ou plus récent, Python 3.12, CUDA 13. Ensuite :

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

Le checkpoint par défaut est tiré de Hugging Face au premier lancement ; définissez DEEPINFER_HF_MODEL_DIR si vous l'avez en local. Les benchmarks ont été mesurés sur quatre GPU SM100 pour le prefill et soixante-quatre pour le decode, ce qui devrait calibrer vos attentes sur le sens de « rapide » ici. Vous ne reproduirez pas ces chiffres sur une 4090, et il n'existe aucune voie grand public.

La généalogie est énoncée sans détour : construit à l'origine sur vLLM, avec des idées venues de SGLang et de TensorRT-LLM. C'est un remerciement élégant, et aussi une carte utile. Si vous connaissez l'ordonnanceur de vLLM et le cache radix de SGLang, vous devinez ce que DeepInfer a réécrit et ce qu'il a hérité.

Pourquoi les labos ouvrent leur code

Trois raisons plausibles, et elles ne s'excluent pas.

D'abord, la crédibilité. Publier la pile de serving, c'est dire que les chiffres des benchmarks viennent de quelque chose de réel. Tout le monde peut citer des tokens par seconde. Livrer le code qui les a produits, c'est un autre niveau de preuve.

Ensuite, l'écosystème. Les frameworks de serving, c'est là que vivent les ingénieurs d'inférence. Si votre modèle tourne bien sur le framework que tout le monde connaît déjà, vous gagnez l'adoption gratuitement. S'il ne tourne bien que sur le vôtre, c'est le framework qui doit conquérir ses utilisateurs.

Enfin, le recrutement et les standards. Un labo qui publie ses kernels fixe le vocabulaire. Quand le prochain article dira « invariant au lot », tout le monde entendra ce que DeepInfer entend.

Ce que cela ne fait pas, c'est vous livrer un produit. L'écart entre « nous avons ouvert notre moteur » et « vous pouvez servir ce modèle à bas coût » est exactement celui que le README assume.

Qu'en faire ce mois-ci

Si vous faites de l'inférence pour vivre, clonez le dépôt, lancez l'exemple hors ligne sur le matériel Blackwell ou Ascend que vous pouvez louer, et mesurez deux choses : le temps jusqu'au premier token sur une distribution de prompts réaliste, et la tenue réelle de l'échantillonnage déterministe selon la taille des lots. Ce sont les deux affirmations peu coûteuses à vérifier et coûteuses à falsifier.

Il existe aussi un usage plus étroit et plus pratique : la notation par lots hors ligne. S'il faut faire tourner dix fois une suite d'évaluation fixe et comparer les sorties, l'échantillonnage déterministe transforme l'exercice statistique en diff. La plupart des harnais d'évaluation passent la moitié de leur complexité à contourner le fait qu'un même prompt donne des réponses différentes selon la taille du lot. Une pile de serving qui garantit l'inverse supprime toute une catégorie d'outillage.

Sinon, le dépôt vaut quand même une heure. Pas comme logiciel, comme spécification. C'est un labo de pointe qui vous dit quels problèmes il a jugés assez durs pour les résoudre en interne : équilibrage de charge des experts, rejeu borné pour l'attention à fenêtre glissante, spéculation pilotée par la confiance, reproductibilité au bit près. Cette liste cartographie assez bien l'origine réelle des coûts d'inférence, et elle restera vraie longtemps après le retrait de V4.1-Flash.

Open source, ici, signifie : voici le moteur, voici le réglage, voici le seul modèle qui nous intéresse. Le reste — cache, routeur, le milieu ingrat — demeure ce que vous construisez.

Articles associés