DeepSeek ha aperto DeepInfer ma si è tenuta il cambio

DeepSeek ha pubblicato DeepInfer questa settimana. Il README lo descrive come «il framework di inferenza ad alte prestazioni che alimenta i servizi di produzione su larga scala di DeepSeek». Supporta esattamente un modello, DeepSeek-V4.1-Flash, e arriva con un elenco di ciò che non c'è: un sistema di KV cache e i livelli di servizio VE/Prefill/Decode.
È la cosa più interessante del rilascio. Non è un prodotto. È il monoblocco, consegnato senza il cambio.
Le circa 25.000 stelle in meno di un mese suggeriscono che il gesto sia stato capito lo stesso.
Cosa c'è davvero nella scatola
La lista delle funzioni sembra una serie di risposte a problemi che emergono solo su larga scala.
Parallelismo. Attention DP, CP bilanciato, MoE EP con EPLB. EPLB sta per expert-parallel load balancing, la parte del serving di un modello mixture-of-experts che tutti sottovalutano: il router non distribuisce il traffico in modo uniforme, così alcune GPU si ritrovano gli esperti caldi e lavorano tre volte tanto.
DSpark con verifica pianificata per confidenza. È decoding speculativo con una variante: vengono proposti token di bozza, poi una stima di confidenza decide quanta parte della bozza verificare. Si imposta DEEPINFER_ENABLE_MTP_VARLEN=1, e DEEPINFER_USE_NEXTN_DECODE limita la lunghezza della bozza, con valore predefinito cinque.
Replay limitato con SWA. L'attenzione a finestra scorrevole significa che il decoder non ha bisogno dell'intero prefisso per il prefill: gli serve la finestra, più la lunghezza di backtracking che concedi. I valori predefiniti nel README sono modalità compact con 140 token trattenuti. Meno lavoro di prefill, stesso output.
Scheduling asincrono. Lo scheduling dei batch sulla CPU si sovrappone all'esecuzione sul device. Attivo per impostazione predefinita. Poco spettacolare, e probabilmente vale più di qualsiasi ottimizzazione di un singolo kernel nel repository.
Poi ci sono due funzioni che non riguardano la velocità.
La batch invariance è il titolo che non si nota
Con DEEPINFER_BATCH_INVARIANT=1 il modello produce risultati identici indipendentemente da cos'altro ci sia nel batch. Insieme a DEEPINFER_ENABLE_MTP_VARLEN=0 e a un seq_seed fisso si ottiene campionamento deterministico: stessi token in ingresso, stessi parametri, stesso output, ogni volta.
Quasi nessuno lo pubblicizza, perché quasi nessuno ne ha bisogno — finché non ne ha bisogno.
Il momento in cui serve è quando un cliente dice «ieri questa risposta era sbagliata e oggi è giusta, cosa è cambiato». Se la risposta dipende dalla composizione del batch, allora dipende da quanto era carico il server. Due utenti che fanno la stessa domanda alle 3 di notte e alle 3 del pomeriggio possono ottenere testi diversi, e non c'è nessun bug da trovare perché niente è rotto. È una proprietà pessima da scoprire in produzione, e facilissima da coprire con «gli LLM sono stocastici».
L'inferenza batch-invariant è ciò che ti permette di scrivere un test di regressione. È ciò che dà senso a un numero di eval. È anche, brutalmente, una funzione che costa throughput, ed è per questo che è disattivata per impostazione predefinita e limitata all'hardware NVIDIA in questo rilascio.

Due target hardware, uno sorprendente
L'hardware supportato è indicato come GPU NVIDIA SM100 e NPU Huawei Ascend 950. Non «NVIDIA e AMD». Non «CUDA e ROCm». SM100 e Ascend 950.
DeepSeek pubblica infrastruttura per Ascend già da un po': TileLang, DeepGEMM, DeepEP, FlashMLA e DeepSelect hanno tutti una controparte sullo stack Huawei. La lista dei kernel di DeepInfer cita gli stessi componenti, più kernel TileLang personalizzati, e poi dichiara il supporto NPU a livello di framework invece che di kernel.
La distinzione conta. Supportare un secondo acceleratore a livello di kernel significa scrivere un secondo set di kernel. Supportarlo a livello di framework, con lo stesso scheduler e la stessa strategia di parallelismo, significa che l'astrazione è stata progettata portabile fin dall'inizio. Se poi le prestazioni ci siano è un'altra domanda, e il README non risponde.
Perché aprire il motore e non il servizio
Le omissioni sono la strategia. Un sistema di KV cache e una separazione prefill/decode sono esattamente le parti che trasformano un motore di inferenza in un business di serving. Sono anche le più difficili da aprire in modo responsabile, perché incorporano assunzioni sulla forma del tuo traffico, sul tuo SLA e sul tuo parco hardware.
Quello che resta è la parte che trae vantaggio dall'essere pubblica: kernel, scheduling, parallelismo, comportamento della precisione. Se sei un laboratorio che vuole far adottare il proprio modello, pubblicare il motore significa che ogni cloud provider può raggiungere i tuoi numeri e che i concorrenti non possono sostenere che la tua velocità fosse un trucco privato.
C'è anche un lato pratico. DeepSeek-V4.1-Flash è un modello economico e veloce. I modelli economici e veloci vivono o muoiono sull'efficienza del serving, perché il margine è sottile e il volume enorme. Un miglioramento del 5% nel throughput è un risultato di business, non una curiosità ingegneristica. Dare il motore all'ecosistema alza il livello per chiunque rivenda il tuo modello.
Output strutturati, e il costo che nessuno mette nel changelog
L'ultima funzione della lista si legge distrattamente: vincolare la generazione a una regex, a uno schema JSON o a una grammatica EBNF, passati tramite so_args nei parametri di campionamento.
Ogni sistema di produzione serio ne ha bisogno, perché l'alternativa è fare il parsing di testo libero e sperare. La cosa insolita è vederla nello stesso rilascio dell'inferenza batch-invariant, perché le due interagiscono. Il decoding vincolato da grammatica percorre un trie di token, e la forma di quel trie dipende dallo schema, non dal batch. Sbaglia l'interazione e il tuo campionatore «deterministico» smette di esserlo nel momento in cui un chiamante manda uno schema.
Mettere entrambe le funzioni in un framework, con una sola variabile d'ambiente che governa il percorso del determinismo, è il tipo di dettaglio che ti dice che questo codice ha servito traffico reale. Nessuno scrive quel controllo per una demo.
Cosa dovrebbe portarsi a casa chi lavora con questi sistemi
Tre cose, in ordine di quanto presto ti serviranno.
Copia l'interruttore del determinismo, non i kernel. Se servi un modello e non hai mai verificato se gli output dipendono dalla composizione del batch, è un esperimento da un pomeriggio e probabilmente ti sorprenderà. Non ti serve DeepInfer: manda lo stesso prompt come batch da uno e dentro un batch da trentadue, e confronta i risultati.
Il default di 140 token è un indizio. Il README dice che il suffisso trattenuto deve coprire la finestra SWA più la lunghezza massima di backtracking, e poi indica 140 come default per V4.1. Quel numero dice qualcosa sulla finestra di attenzione del modello e sulla profondità del decoding speculativo che altrove nel rilascio non è dichiarato.
Leggi le esclusioni come una checklist. KV cache, VE, prefill, decode. Se stai costruendo uno stack di serving, quelle quattro parole sono il tuo progetto vero. Il repository è la parte che avresti dovuto scrivere comunque da zero, e ora non devi.
Il punto più grande è che l'inferenza è dove oggi vive il business dei modelli. L'addestramento prende i titoli e i round di finanziamento. Ma un modello che costa il 30% in meno da servire può essere venduto al 30% in meno e restare redditizio, e questo si decide in codice come questo, in switch come DEEPINFER_BATCH_INVARIANT, da persone che ottimizzano per un carico di lavoro che non vedrai mai.
Articoli correlati
Gli agenti si spostano nel cloud: il task continua quando chiudi il portatile
Il task continua in una VM cloud dopo che hai chiuso il portatile, ma perdi il tooling interno e resta aperto chi approva le azioni irreversibili.
NVIDIA rilascia quattro modelli del mondo da 16 miliardi e un decoder 25 volte più veloce sulla geometria
Quattro generatori del mondo da 16 miliardi con le ricette di training, e un framework di decoding che emette geometria in un colpo. La valutazione manca.
Le skill occupano un quarto dei trend di GitHub, e ognuna si installa a modo suo
Una skill è una cartella di istruzioni, ma installarla ha quattro strade diverse e la copia locale non ha ancora un lockfile.
Un modello da 594 miliardi in cima alle classifiche. I pesi, però, non ci sono
Un modello forte, numeri buoni e una ricetta da leggere, ma i pesi che renderebbero verificabile la dichiarazione non sono ancora usciti.