NVIDIA rilascia quattro modelli del mondo da 16 miliardi e un decoder 25 volte più veloce sulla geometria

Il 5 novembre NVIDIA ha messo quattro checkpoint Cosmos 3 su Hugging Face. Ognuno è una versione post-addestrata del Cosmos 3 Nano da 16 miliardi di parametri, pubblicata sotto OpenMDW1.1, una licenza che permette uso commerciale e non commerciale. Accanto ai pesi l'azienda ha rilasciato le ricette di post-training e il codice di inferenza, così un team può adattare i modelli al proprio assetto di sensori invece di eseguirli solo come sono.
Poi, il giorno dopo, NVIDIA ha distribuito VFlash, un framework di decoding che attacca un'altra parte dello stesso problema. I due rilasci sono più interessanti insieme che separati, perché uno riguarda il generare il mondo e l'altro la velocità con cui sai dire dove stanno le cose dentro.
Cosa fanno i quattro checkpoint
Cosmos 3 è una famiglia di world foundation model lanciata a giugno con una spina dorsale Mixture-of-Transformers: una sottosequenza autoregressiva che gestisce il ragionamento e una sottosequenza di diffusione che gestisce la generazione, con encoder separati per modalità e uno spazio di rappresentazione condiviso nel mezzo. Esistono due taglie, Super e Nano. Il rilascio di novembre è quattro post-train specializzati della più piccola.
Cosmos3-Nano-Transfer-Auto genera dati di guida offline. Produce video sincronizzato su un massimo di 11 viste camera, fisheye comprese, più nuvole di punti LiDAR. Il layout della strada e il comportamento del traffico si impostano per camera tramite una World Scenario Map, e l'aspetto si guida con il testo.

Cosmos3-Nano-Sim-Auto è la versione streaming distillata causalmente di Transfer-Auto. Emette piccoli blocchi di video camera sincronizzato e LiDAR in pochi passi di denoising, che è quello che serve per rollout interattivi lunghi invece di una clip fissa.
Cosmos3-Nano-Sim-Transfer prende i controlli di un simulatore fisico più un prompt testuale e restituisce video RGB fotorealistico. Lo stato fisico resta nel simulatore, e il modello è condizionato su quattro controlli spaziali: profondità, segmentazione, bordi e blur. Quella divisione è la parte utile. Tieni la dinamica di cui ti fidi e prendi in prestito i pixel che non hai.
Cosmos3-Nano-Sim-Bimanual predice il frame successivo da azioni bimanuali di un robot o della camera. Supporta gli embodiment YAM e AgiBot, e una singola sequenza di controllo può passare da cambi di punto di vista a manipolazione. L'esempio di azione mista nella documentazione usa 59 valori di controllo.
Il dettaglio di training che vale la pena leggere
NVIDIA ha pubblicato la ricetta in quattro stadi: adattamento bidirezionale, teacher forcing, distillazione di consistenza e self-forcing.
L'ultimo è quello a cui prestare attenzione. Il self-forcing addestra il modello sulla propria storia generata invece che solo su frame di verità, ed è il trucco standard per rallentare l'accumulo di errore nel video autoregressivo. Se addestri solo su contesto pulito, il modello non impara mai a recuperare dalla propria deriva, e la deriva si compone quando gira libero.
Chi ha visto un video AI sfaldarsi in dieci secondi ha visto il sintomo. Pubblicare la correzione in forma di ricetta, con pesi e codice, è più utile che pubblicare un altro reel dimostrativo.
La frase che andrebbe citata di più
NVIDIA dice che resta da misurare se questi modelli supportano in modo affidabile l'apprendimento e la valutazione di policy.
È una riga insolitamente onesta per un lancio, e dovrebbe viaggiare con ogni storia sui world model aperti. Quello che l'azienda dice è che un world model che produce video credibile non è per questo dimostrato come ambiente di training utile. Una policy addestrata dentro un simulatore che rende benissimo ma è fisicamente sbagliato imparerà la cosa sbagliata e fallirà nel mondo reale, e il fallimento sembrerà un'allucinazione invece che un bug di fisica.
Chiudere quello scarto richiede una valutazione che la maggior parte dei team non è attrezzata a eseguire: prendi una policy addestrata nel mondo generato, dispiegala su hardware reale e misura il delta. È costoso, lento, e non è il tipo di risultato che sta in un post di lancio.
Quindi l'inquadramento onesto di questo rilascio è che NVIDIA ha consegnato alla comunità quattro generatori forti più le ricette, e ha esplicitamente rinunciato a sostenere che funzionino come ambienti di training. La dichiarazione è della comunità, guadagnarsela.
VFlash, e perché le coordinate non sono parole
Il decoding autoregressivo è stato progettato per il linguaggio, dove il token successivo è un'unità ragionevole. La geometria non è così. Un robot ha bisogno di un punto di presa, di un orientamento e di un percorso, e generare quelli una coordinata alla volta è lento e fragile. Ogni predizione si condiziona sulla precedente, quindi un errore iniziale si propaga. Dieci waypoint sono dieci occasioni di deriva.
VFlash sostituisce la generazione token per token con quello che NVIDIA chiama flash primitive decoding. Il modello dichiara quanto sarà lungo l'output tramite una tool call, dichiara il tipo di primitiva, e poi un modello draft leggero predice l'intero oggetto geometrico in parallelo mentre il vision language model target resta congelato. Tre problemi di ingegneria vanno risolti perché funzioni: allineamento dei confini, perché un blocco di decode corrisponda a una geometria completa invece di essere tagliato da una finestra di token; allineamento di posizione, perché coordinate e waypoint cadano sempre in campi a larghezza fissa; e apprendimento della struttura geometrica, che è a cosa serve il modello draft.
Il modello draft è un Transformer non causale a cinque strati addestrato con il VLM target completamente congelato. I sottotask testuali passano ancora dal decoding speculativo. Il tutto è un plug-in, non un retrain.
I numeri sono specifici. Su una H100 con batch size uno, la predizione del moto di punti 3D arriva fino a 25 volte la velocità della generazione singola. Il decoding delle azioni robotiche è fino a 12 volte più veloce. L'inferenza robotica end-to-end è fino a 5.1 volte più veloce. L'errore di traiettoria 3D scende fino al 61 per cento, con l'errore medio di spostamento 3D giù del 42.6 per cento su sei metriche su ShareRobot-Bench e VABench-V. Su DAVIS, la predizione densa del moto 3D taglia l'errore di spostamento del 27 per cento. La generazione di bounding box su COCO e Dense200 gira da 2.6 a 2.8 volte più veloce a precisione circa pari alla baseline.
E in MolmoSpaces, un world action model condizionato sulla pianificazione visiva di VFlash raggiunge il 70.2 per cento di successo medio sui task contro il 62.6 per cento della baseline.
Il riassunto di Jim Fan era che l'era del vision model di Sistema 1 è arrivata, e che la prossima rivoluzione dell'inferenza è il ragionamento fisico a velocità di riflesso. Marketing, ma la direzione è giusta. Il controllo a velocità di riflesso richiede decoder che emettono geometria in un colpo.
Cosa dovrebbe prendere un team dai due rilasci
Se stai costruendo qualcosa che tocca il mondo fisico, la lettura pratica è che le due metà dello stack sono appena diventate più economiche.
La metà generativa: quattro checkpoint da 16B che puoi scaricare, con controllo di scenario per camera, sincronizzazione LiDAR e una modalità condizionata dal simulatore che tiene la fisica dove ti fidi. I requisiti sono poco glamour: Linux, una GPU NVIDIA, Docker e il container toolkit.
La metà di controllo: un framework di decoding che trasforma un VLM congelato in qualcosa abbastanza veloce da pianificare alle frequenze di controllo, senza riaddestrarlo.
La metà che nessuno ha distribuito è la valutazione. Se una policy addestrata su dati generati da Cosmos si trasferisca su hardware reale è ancora una domanda aperta, e NVIDIA lo dice. È il lavoro che deciderà se i world model aperti sono una scorciatoia per i dati di training o un renderer molto bello.
Articoli correlati
Gli agenti si spostano nel cloud: il task continua quando chiudi il portatile
Il task continua in una VM cloud dopo che hai chiuso il portatile, ma perdi il tooling interno e resta aperto chi approva le azioni irreversibili.
Le skill occupano un quarto dei trend di GitHub, e ognuna si installa a modo suo
Una skill è una cartella di istruzioni, ma installarla ha quattro strade diverse e la copia locale non ha ancora un lockfile.
Un modello da 594 miliardi in cima alle classifiche. I pesi, però, non ci sono
Un modello forte, numeri buoni e una ricetta da leggere, ma i pesi che renderebbero verificabile la dichiarazione non sono ancora usciti.
Il modello più forte sbaglia una lettura di laboratorio su tre. OpenAI ha pubblicato gli errori
Il modello migliore sbaglia circa un terzo delle letture, e i casi di errore pubblicati dicono più del punteggio.