NVIDIA mette in open source il piano di controllo per Kubernetes su GPU

La parte scomoda dell’infrastruttura GPU arriva dopo aver comprato le schede: darne una fetta a un team in modo che quel team la usi senza consegnargli l’intera macchina.
È il problema a cui punta dsx-ai-factory/nvke, e il nome è letterale: NVIDIA Kubernetes Engine. NVIDIA l’ha aperto con licenza Apache 2.0, è scritto in Go su 1.27.3 ed è in anteprima. Questa settimana ha raccolto circa 345 stelle al giorno, che per un repository di infrastruttura con 809 stelle in totale significa che la maggior parte del pubblico l’ha trovato negli ultimi giorni.
Cos’è, secondo NVIDIA
Il README è attento alle definizioni, e l’attenzione vale la pena di essere riportata perché evita molta confusione.
NVIDIA è esplicita: NVKE non è una distribuzione Kubernetes né una variante di Cluster API. Il progetto si definisce una fabbrica auto-ospitata di cluster Kubernetes. Un cluster seme usa e getta tira su un cluster di gestione. Il piano di controllo che gira su quel cluster di gestione provisiona e gestisce nel ciclo di vita molti cluster di workload isolati, su richiesta.
Un’installazione ha quindi due tipi di cluster. Il cluster di gestione esegue il piano di controllo NVKE e i controller di infrastruttura. I cluster di workload eseguono le applicazioni dei clienti, ognuno con il proprio control plane, il proprio etcd e i propri pool di nodi. Tu gestisci il piano di controllo. I tuoi clienti usano i loro cluster tramite l’API Kubernetes e kubectl, e dal loro lato sembra un servizio gestito.
È la forma che un team di piattaforma in un neocloud, in un laboratorio di ricerca o in un’azienda con rack GPU propri finisce per costruire a mano. Qualcuno deve possedere il pezzo noioso: provisionare macchine, unire nodi, sostituire hardware guasto, aggiornare le versioni di Kubernetes, e farlo per singolo tenant senza contaminazioni incrociate. NVKE è quel pezzo, impacchettato.
La parte identità è quella interessante
Qui la maggior parte dei componenti è quello che ti aspetti. La parte che mi ha sorpreso è l’identità dei nodi.
I nodi si attestano tramite SPIFFE/SPIRE usando il loro TPM prima di ricevere le credenziali di join. Se ti sei mai chiesto come fa un cluster a sapere che la macchina che chiede di entrare è quella che hai provisionato e non qualcos’altro che ha trovato l’endpoint, questa è la risposta, ed è quella giusta. L’attestazione avviene sull’hardware, non su un token che qualcuno ha copiato da una config map.
La cifratura dei dati di etcd è disponibile per cluster, il che in un assetto multi-tenant è il minimo indispensabile, non una funzione.
Le macchine arrivano da NVIDIA Infra Controller, o NICo, che in anteprima è l’unico provider di infrastruttura compatibile. È un vincolo reale. Se il tuo hardware è gestito da qualcos’altro, questo non è ancora collegabile.
Provarlo senza una GPU
La cosa più amichevole del repository è il quickstart locale, che esegue un piano di controllo di sviluppo e un cluster di workload su macchine simulate. Non serve un account NVIDIA. I requisiti sono un host o una VM Linux, amd64 o arm64, almeno 6 CPU, 12 GiB di memoria libera, 100 GiB di disco libero, Docker e supporto per il TPM virtuale. Su macOS si usa una VM Colima.
L’obiettivo di quell’esercizio è stretto e pratico: arrivare a un cluster di workload e verificare che i suoi nodi riportino Ready. Se funziona, hai visto l’intero ciclo senza toccare silicio.
Compilare dai sorgenti è l’altra strada, ed è rinfrancante nella sua noia:
git clone https://github.com/dsx-ai-factory/nvke.git
cd nvke
make build
Produce nove binari in bin/: agent, updater, controller, nvkectl, capd-reboot-controller, nvke-os-image-check, management-engine, tenant-api, operator-api. Compilare non avvia un piano di controllo e non crea un cluster, il che sembra ovvio finché non hai eseguito un target di make che faceva esattamente quello.
Per un’installazione vera fornisci tu macchine, rete, immagini dei nodi e registry, e configuri l’accesso a NICo. Il repository complementare nvkr, NVIDIA Kubernetes Recipes, costruisce le immagini dei nodi e i componenti NVKE da input fissati, e possiede le prove di build e di rilascio. Separare «cosa viene costruito» da «cosa viene distribuito» è la cucitura giusta, e significa che gli artefatti hanno una storia di provenienza separata dal piano di controllo.
La sezione dei limiti sembra una confessione
Qui NVKE si guadagna un po’ di fiducia.
L’anteprima arriva con avvertimenti espliciti, nel README, non sepolti in una wiki. L’autenticazione dell’API è disattivata e dopo l’installazione l’API usa HTTP in chiaro. Ci si aspetta che tu configuri autenticazione e accesso protetto prima di ammettere chiamanti. Il cluster di gestione non aggiorna, scala o sostituisce se stesso. Non c’è procedura di aggiornamento del piano di controllo e non c’è procedura di backup o ripristino. Le immagini dei nodi con FDE sono solo per la valutazione e non offrono riservatezza dei dati a riposo.
Quell’elenco è inusuale. Quasi tutti gli annunci di anteprima scrivono «non per la produzione» e passano avanti. NVIDIA ha enumerato i modi precisi in cui ti farai male, il che ti permette di decidere se la tua valutazione è sicura.
Per chi pensa di distribuirlo: HTTP in chiaro più nessuna autenticazione significa che il piano di controllo deve stare dietro un confine di rete che controlli tu, punto. Non è una situazione da «lo irrobustiremo dopo», è una situazione da «non instradare questo».
A chi serve
Tre gruppi, all’incirca.
Il primo è chiunque gestisca un cloud GPU. Se vendi cluster Kubernetes sul tuo hardware, il calcolo build-or-buy su un piano di controllo è penoso, perché non è la cosa per cui i clienti pagano ed è la cosa che ti sveglia alle tre di notte. Un piano di controllo Apache 2.0 con una superficie in stile kubectl per i tenant è attraente anche a qualità di anteprima, perché puoi leggere il codice.
Il secondo sono le grandi imprese con un team di piattaforma centrale e clienti interni. Il modello «l’operatore gestisce il piano, i clienti ricevono i cluster» si mappa direttamente su come una banca o un’azienda manifatturiera alloca davvero capacità GPU: un ticket, una quota e un namespace isolato, non un cluster condiviso e la speranza che l’RBAC basti.
Il terzo sono gli istituti di ricerca. Isolamento multi-tenant con etcd per cluster e attestazione TPM è vicino a ciò che serve a un’università quando quattro laboratori condividono un rack DGX e uno di loro fa qualcosa che non deve essere visibile agli altri.
Non è per un singolo team con otto GPU. Passeresti più tempo sul piano di controllo che sui modelli.
La lettura strategica
La strategia software di NVIDIA è coerente da un po’: rendere l’hardware facile da consumare e lasciare gratuito il livello di orchestrazione. CUDA, NCCL, Triton, NIM e ora un piano di controllo Kubernetes. Niente di tutto questo sta dove sta il margine. Tutto questo rende il silicio più usabile, e il silicio è dove sta il margine.
C’è anche un risvolto competitivo. Il racconto del Kubernetes gestito per le GPU è stato in gran parte degli hyperscaler, perché possiedono sia il servizio di piano di controllo sia l’hardware. NVKE dà la stessa forma a chiunque abbia rack, e lo fa senza dover mandare il workload su AWS. Per un cloud sovrano o per un compratore di un settore regolato è un’opzione reale che prima non esisteva come open source.
L’obiezione è la manutenzione. Un piano di controllo è un servizio che aggiorni a calendario, metti a patch di venerdì e ricostruisci quando lo snapshot di etcd è corrotto. Non è una libreria che alzi in un lockfile. L’assenza di un percorso di aggiornamento del piano di controllo nell’anteprima non è un buco nella documentazione, è la parte più difficile del problema, e NVIDIA non l’ha ancora risolta in pubblico.
Quindi trattalo come l’anteprima di un’architettura, non di un prodotto. Leggi il codice, esegui il quickstart locale, fatti un’opinione su se il modello di bootstrap con cluster seme regge quando è il cluster di gestione stesso a doversi spostare. Quella domanda, non il catalogo dei modelli, decide se un piano di controllo Kubernetes per GPU è davvero software di base.
Apache 2.0 significa che puoi farne un fork se la risposta è no. È il valore reale del rilascio.
Articoli correlati
Gli agenti si spostano nel cloud: il task continua quando chiudi il portatile
Il task continua in una VM cloud dopo che hai chiuso il portatile, ma perdi il tooling interno e resta aperto chi approva le azioni irreversibili.
NVIDIA rilascia quattro modelli del mondo da 16 miliardi e un decoder 25 volte più veloce sulla geometria
Quattro generatori del mondo da 16 miliardi con le ricette di training, e un framework di decoding che emette geometria in un colpo. La valutazione manca.
Le skill occupano un quarto dei trend di GitHub, e ognuna si installa a modo suo
Una skill è una cartella di istruzioni, ma installarla ha quattro strade diverse e la copia locale non ha ancora un lockfile.
Un modello da 594 miliardi in cima alle classifiche. I pesi, però, non ci sono
Un modello forte, numeri buoni e una ricetta da leggere, ma i pesi che renderebbero verificabile la dichiarazione non sono ancora usciti.