← Retour au blog
AiEnviron 7 min de lecture

DeepSeek ouvre son moteur d'inférence et garde la boîte de vitesses

Publié le 11 nov. 2026
DeepSeek ouvre son moteur d'inférence et garde la boîte de vitesses

DeepSeek a publié DeepInfer cette semaine. Le README le présente comme « le framework d'inférence haute performance qui fait tourner les services de production à grande échelle de DeepSeek ». Il gère exactement un modèle, DeepSeek-V4.1-Flash, et il arrive avec la liste de ce qui manque : un système de cache KV, et les couches de service VE/Prefill/Decode.

C'est ce qui rend la publication intéressante. Ce n'est pas un produit. C'est le bloc moteur, livré sans la transmission.

Les quelque 25 000 étoiles en moins d'un mois suggèrent que le geste a été compris quand même.

Ce qu'il y a vraiment dans la boîte

La liste des fonctions ressemble à un ensemble de réponses à des problèmes qui n'apparaissent qu'à l'échelle.

Parallélisme. Attention DP, CP équilibré, MoE EP avec EPLB. EPLB signifie expert-parallel load balancing, la partie du serving d'un modèle mixture-of-experts que tout le monde sous-estime : le routeur ne répartit pas le trafic de façon uniforme, si bien que certaines GPU héritent des experts chauds et abattent trois fois plus de travail.

DSpark avec vérification planifiée par confiance. C'est du décodage spéculatif avec une variante. Des tokens de brouillon sont proposés, puis une estimation de confiance décide de la part du brouillon à vérifier. On passe DEEPINFER_ENABLE_MTP_VARLEN=1, et DEEPINFER_USE_NEXTN_DECODE plafonne la longueur du brouillon, à cinq par défaut.

Replay borné en SWA. L'attention à fenêtre glissante signifie que le décodeur n'a pas besoin de tout le préfixe pour le prefill : il lui faut la fenêtre, plus la longueur de retour arrière autorisée. Les valeurs par défaut du README sont le mode compact avec 140 tokens conservés. Moins de travail de prefill, sortie identique.

Ordonnancement asynchrone. La planification des lots sur CPU recouvre l'exécution sur le device. Activé par défaut. Peu spectaculaire, et probablement plus rentable que n'importe quelle optimisation de kernel du dépôt.

Puis les deux fonctions qui ne portent pas du tout sur la vitesse.

L'invariance au lot est le vrai titre

Passez DEEPINFER_BATCH_INVARIANT=1 et le modèle produit des résultats identiques, quel que soit le reste du lot. Combinez avec DEEPINFER_ENABLE_MTP_VARLEN=0 et un seq_seed fixe, et vous obtenez un échantillonnage déterministe : mêmes tokens d'entrée, mêmes paramètres, même sortie, à chaque fois.

Presque personne ne met cela en avant, parce que presque personne n'en a besoin — jusqu'au jour où si.

Ce jour-là, un client dit : « cette réponse était fausse hier et juste aujourd'hui, qu'est-ce qui a changé ». Si la réponse dépend de la composition du lot, alors elle dépend de la charge du serveur. Deux utilisateurs posant la même question à 3 h et à 15 h peuvent obtenir des textes différents, sans qu'il y ait de bug à trouver, puisque rien n'est cassé. C'est une propriété très désagréable à découvrir en production, et très facile à masquer derrière un « les LLM sont stochastiques ».

L'inférence invariante au lot, c'est ce qui permet d'écrire un test de non-régression. C'est ce qui donne un sens à un chiffre d'évaluation. C'est aussi, franchement, une fonction qui coûte du débit, d'où son désactivation par défaut et sa limitation au matériel NVIDIA dans cette version.

Une allée de baies serveurs la nuit, une lame éclairée en vert tandis que les autres restent sombres, des câbles en faisceaux parallèles

Deux cibles matérielles, dont une surprenante

Le matériel pris en charge est listé comme GPU NVIDIA SM100 et NPU Huawei Ascend 950. Pas « NVIDIA et AMD ». Pas « CUDA et ROCm ». SM100 et Ascend 950.

DeepSeek publie de l'infrastructure côté Ascend depuis un moment : TileLang, DeepGEMM, DeepEP, FlashMLA et DeepSelect ont tous un équivalent sur la pile Huawei. La liste de kernels de DeepInfer reprend ces mêmes composants, plus des kernels TileLang maison, puis déclare le support NPU au niveau du framework plutôt qu'au niveau des kernels.

La distinction compte. Supporter un second accélérateur au niveau des kernels veut dire écrire un second jeu de kernels. Le supporter au niveau du framework, avec le même ordonnanceur et la même stratégie de parallélisme, veut dire que l'abstraction a été pensée portable dès le départ. La question des performances reste entière, et le README n'y répond pas.

Pourquoi ouvrir le moteur et pas le service

Les absences sont la stratégie. Un cache KV et une séparation prefill/decode sont précisément ce qui transforme un moteur d'inférence en activité de serving. Ce sont aussi les briques les plus difficiles à ouvrir de façon responsable, parce qu'elles encodent des hypothèses sur la forme de votre trafic, votre SLA et votre parc matériel.

Reste la partie qui gagne à être publique : kernels, ordonnancement, parallélisme, comportement en précision. Si vous êtes un laboratoire qui cherche à faire adopter son modèle, publier le moteur permet à chaque fournisseur cloud d'atteindre vos chiffres, et empêche un concurrent de dire que votre vitesse était un tour de passe-passe interne.

Il y a aussi un angle pratique. DeepSeek-V4.1-Flash est un modèle bon marché et rapide. Ces modèles vivent ou meurent sur l'efficacité du serving, parce que la marge est mince et le volume énorme. Cinq pour cent de débit en plus, c'est un résultat commercial, pas une curiosité d'ingénieur. Donner le moteur à l'écosystème relève le plancher pour tous ceux qui revendent votre modèle.

Sorties structurées, et le coût absent du changelog

La dernière fonction de la liste se lit en diagonale : contraindre la génération par une regex, un schéma JSON ou une grammaire EBNF, passés via so_args dans les paramètres d'échantillonnage.

Tout système de production sérieux en a besoin, l'alternative étant de parser du texte libre en espérant que ça passe. Ce qui est inhabituel, c'est de la voir dans la même version que l'inférence invariante au lot, parce que les deux interagissent. Le décodage contraint par grammaire parcourt un trie de tokens, et la forme de ce trie dépend du schéma, pas du lot. Ratez l'interaction et votre échantillonneur « déterministe » cesse de l'être dès qu'un appelant envoie un schéma.

Mettre les deux fonctions dans un seul framework, avec une variable d'environnement unique qui commande le chemin déterministe, est le genre de détail qui trahit un code ayant servi du trafic réel. Personne n'écrit ce garde-fou pour une démo.

Ce qu'un praticien doit en retenir

Trois choses, classées par échéance.

Copiez l'interrupteur de déterminisme, pas les kernels. Si vous servez un modèle et que vous n'avez jamais vérifié si vos sorties dépendent de la composition du lot, c'est une expérience d'un après-midi et elle vous surprendra probablement. Pas besoin de DeepInfer : envoyez le même prompt en lot de un puis au milieu d'un lot de trente-deux, et comparez.

Le défaut de 140 tokens est un indice. Le README précise que le suffixe conservé doit couvrir la fenêtre SWA plus la longueur maximale de retour arrière, puis donne 140 comme valeur par défaut de V4.1. Ce chiffre renseigne sur la fenêtre d'attention du modèle et sur sa profondeur de décodage spéculatif, deux choses énoncées nulle part ailleurs dans la publication.

Lisez les exclusions comme une liste de courses. Cache KV, VE, prefill, decode. Si vous construisez une pile de serving, ces quatre mots sont votre vrai projet. Le dépôt, c'est la partie que vous auriez dû écrire de zéro de toute façon, et maintenant c'est fait.

Le point plus large : l'inférence est l'endroit où vit désormais le business des modèles. L'entraînement prend les gros titres et les tours de table. Mais un modèle qui coûte 30 % de moins à servir peut être vendu 30 % moins cher en restant rentable, et cela se décide dans du code comme celui-ci, dans des interrupteurs comme DEEPINFER_BATCH_INVARIANT, par des gens qui optimisent pour une charge que vous ne verrez jamais.

Articles associés