DeepSeek ha aperto il suo stack di serving. Leggi prima le parti mancanti.

DeepSeek ha pubblicato DeepInfer questa settimana: il framework di inferenza che gestisce il proprio traffico di produzione su larga scala, ora disponibile con licenza Apache 2.0. Ha superato le 25.000 stelle in un mese senza evento di lancio, il che dice quanto la gente sia affamata di vedere come un laboratorio di frontiera serve davvero un modello.
Prima che qualcuno lo confronti con vLLM in un pomeriggio di domenica, leggete la sezione del README che elenca ciò che non c'è nella release. È il paragrafo più onesto del repository.
Che cosa ottieni
DeepInfer è un motore di inferenza offline per un solo modello: DeepSeek-V4.1-Flash. Non una famiglia, non un'architettura a plugin con una dozzina di adapter. Un checkpoint, ottimizzato finché i kernel smettono di protestare.
La ristrettezza è il punto. L'elenco delle funzioni è un giro su tutto ciò che costa soldi su larga scala:
- Kernel ottimizzati — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, più kernel TileLang personalizzati.
- Parallelismo — data parallelism per l'attention con context parallelism bilanciato, expert parallelism per il MoE con EPLB (load balancing a livello di esperto, ciò che impedisce a un esperto di diventare un hotspot).
- DSpark e verifica schedulata per confidenza — speculative decoding in cui la lunghezza della bozza è governata dalla confidenza invece che da un numero fisso. La lunghezza di default è 5 tramite
DEEPINFER_USE_NEXTN_DECODE. - SWA bounded replay — invece di rigiocare un intero prefisso, se ne rigioca solo un suffisso limitato. Le impostazioni predefinite di V4.1 tengono 140 token e richiedono che il suffisso copra la finestra scorrevole più la distanza massima di backtracking.
- Scheduling asincrono — scheduling dei batch sulla CPU sovrapposto all'esecuzione sul device, attivo per default.
- Inferenza batch-invariant e campionamento deterministico — gli stessi token in input producono gli stessi token in output indipendentemente da cos'altro ci sia nel batch.
- Output strutturati — vincoli regex, JSON schema o grammatica EBNF passati tramite
SamplingParams.
È l'ultimo gruppo che sottolineerei. Quasi ogni stack di serving sa fare output strutturati. Pochissimi possono promettere che il tuo output è identico byte per byte sia che tu abbia inviato una richiesta o mille, perché la maggior parte dei kernel sceglie ordini di riduzione diversi a seconda della forma del batch, e ordini di riduzione diversi producono risultati in virgola mobile diversi. Se ti è mai capitato un test di regressione che falliva perché il batch era cresciuto, sai perché conta.

Che cosa non ottieni
Tre cose, elencate nel README senza troppi drammi:
- Un sistema di KV cache.
- Disaggregazione VE / prefill / decode — «la maggior parte delle funzionalità richieste dal motore è già implementata», ma l'impiantistica di deployment non è inclusa.
- Load balancing tra repliche data-parallel, separato per prefill e decode.
- Qualcosa che non sia DeepSeek-V4.1-Flash.
Leggi quella lista due volte. Un servizio di inferenza in produzione non è un kernel veloce: è un kernel veloce più una cache che sopravvive allo sfratto più un router che sa quale replica è fredda. DeepInfer ti dà il motore, non l'auto. Se sei un team di ricerca con otto GPU e un benchmark da riprodurre, è esattamente la cosa giusta. Se sei una startup che spera di sostituirlo al proprio deployment vLLM nello sprint prossimo, passerai un trimestre a ricostruire le parti lasciate fuori di proposito.
L'hardware è la vera storia
Hardware supportato: GPU NVIDIA SM100 e NPU Huawei Ascend 950. Due righe, nessun commento.
È una cosa notevole da mettere in un README. Un framework che tratta una GPU NVIDIA di fascia alta e un acceleratore cinese come target pari ti sta dicendo dove gira, o dove conta di far girare, il proprio traffico di produzione. Il sistema di build lo rende esplicito: export DEEPINFER_ACCELERATOR=nvidia, oppure ascend. CUDA 13 da una parte, CANN 9.2 dall'altra.
Per la maggior parte dei team occidentali è un dettaglio da trivia. Per chi costruisce in Cina, o costruisce qualcosa che deve sopravvivere a un titolo sui controlli all'export, è la riga più rilevante del repository.
Installarlo, onestamente
I prerequisiti non sono teneri: Linux, GCC 13 o superiore, Python 3.12, CUDA 13. Poi:
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py
Il checkpoint predefinito viene scaricato da Hugging Face al primo avvio; imposta DEEPINFER_HF_MODEL_DIR se ce l'hai in locale. I benchmark sono stati misurati su quattro GPU SM100 per il prefill e sessantaquattro per il decode, il che dovrebbe calibrare le aspettative su cosa significhi «veloce» qui. Non riprodurrai quei numeri su una 4090, e non esiste alcun percorso consumer.
La discendenza è dichiarata senza giri di parole: costruito originariamente su vLLM, con idee da SGLang e TensorRT-LLM. È un riconoscimento elegante e anche una mappa utile. Se conosci lo scheduler di vLLM e la radix cache di SGLang, puoi indovinare quali parti DeepInfer ha riscritto e quali ha ereditato.
Perché i laboratori aprono il codice
Tre ragioni plausibili, e non si escludono a vicenda.
Primo, credibilità. Pubblicare lo stack di serving è un modo di dire che i numeri dei benchmark vengono da qualcosa di reale. Chiunque può citare token al secondo. Distribuire il codice che li ha prodotti è un altro livello di affermazione.
Secondo, ecosistema. I framework di serving sono il posto dove vivono gli ingegneri dell'inferenza. Se il tuo modello gira bene sul framework che tutti conoscono già, ottieni adozione gratis. Se gira bene solo sul tuo framework, il framework deve guadagnarsi i propri utenti.
Terzo, assunzioni e standard. Un laboratorio che pubblica i propri kernel fissa il vocabolario. Quando il prossimo paper dice «batch-invariant», tutti intendono quello che intende DeepInfer.
Quello che non fa è consegnarti un prodotto. Il divario tra «abbiamo aperto il nostro motore» e «puoi servire questo modello a poco prezzo» è esattamente il divario su cui il README è onesto.
Che cosa farne questo mese
Se l'inferenza è il tuo lavoro, clonalo, esegui l'esempio offline sull'hardware Blackwell o Ascend che riesci a noleggiare, e misura due cose: il tempo al primo token con una distribuzione di prompt realistica, e se il campionamento deterministico tiene davvero al variare della dimensione del batch. Sono le due affermazioni facili da verificare e costose da falsificare.
C'è anche un uso più ristretto e più pratico: lo scoring batch offline. Se devi eseguire dieci volte una suite di valutazione fissa e confrontare gli output, il campionamento deterministico trasforma l'esercizio statistico in un diff. La maggior parte degli harness di valutazione spende metà della propria complessità ad aggirare il fatto che lo stesso prompt produce risposte diverse a dimensioni di batch diverse. Uno stack di serving che garantisce il contrario elimina un'intera categoria di strumenti.
Se non lo fai, il repository vale comunque un'ora. Non come software, come specifica. È un laboratorio di frontiera che ti dice quali problemi ha considerato abbastanza difficili da risolvere in casa: bilanciamento del carico per esperto, replay limitato per l'attention a finestra scorrevole, speculazione governata dalla confidenza e riproducibilità bit-exact. Quella lista è una mappa decente di dove nascono davvero i costi dell'inferenza, e resterà vera molto dopo che V4.1-Flash sarà stato ritirato.
Open source, in questo caso, significa «ecco il motore, ecco il tuning, ecco l'unico modello che ci interessa». Il resto — cache, router, la parte centrale poco glamour — resta la parte che costruisci tu.
Articoli correlati
Un foglio di calcolo comunitario di tocchi che spegne la pubblicità negli Android cinesi
Non tocca il sistema, non sblocca niente, non flasha niente. Ribalta solo gli interruttori che i produttori hanno già previsto. Il prezzo è una lista che qualcuno deve continuare a scrivere.
GPT Image 2.6 ha tenuto il prezzo dei token e alzato la fattura
GPT Image 2.6 conserva ogni tariffa per token di 2.5 e costa comunque di più per immagine, perché buona parte del lavoro passa ora nei token di output. Undici giorni dopo il lancio, la struttura dei prezzi dice più della classifica.
Qualcuno ha ricostruito IDM dall'esterno e ha scritto cosa non ha toccato
Una reimplementazione in Rust di Internet Download Manager promette 5 volte la velocità e 86 lingue. Il documento più interessante è il paragrafo che spiega come è stata costruita senza copiare nulla.
Rune è un framework UI per Rust costruito perché un agente possa verificare il proprio lavoro
Rune renderizza headless, esporta il suo albero di elementi e accetta input scriptato, dando a un agente di coding un segnale diffabile che nessuno screenshot può offrire. Il framework è in pre-release e non accetta pull request.