← Retour au blog
AiEnviron 8 min de lecture

NVIDIA ouvre quatre modèles de monde de 16B, et n'a pas mesuré l'apprentissage de politique

Publié le 11 nov. 2026
NVIDIA ouvre quatre modèles de monde de 16B, et n'a pas mesuré l'apprentissage de politique

Le 5 novembre, NVIDIA a déposé quatre points de contrôle Cosmos 3 sur Hugging Face. Chacun est une version post-entraînée du Cosmos 3 Nano de 16 milliards de paramètres, publiée sous OpenMDW1.1, une licence qui autorise l'usage commercial et non commercial. Avec les poids, l'entreprise a livré les recettes de post-entraînement et le code d'inférence, pour qu'une équipe puisse adapter les modèles à son propre montage de capteurs plutôt que de seulement les exécuter tels quels.

Le lendemain, NVIDIA a publié VFlash, un cadre de décodage qui attaque une autre partie du même problème. Les deux sorties sont plus intéressantes ensemble que séparément, parce que l'une génère le monde et l'autre détermine la vitesse à laquelle on peut dire où sont les choses à l'intérieur.

Ce que font les quatre points de contrôle

Cosmos 3 est une famille de modèles de fondation du monde lancée en juin avec une épine dorsale Mixture-of-Transformers : une sous-séquence autorégressive pour le raisonnement et une sous-séquence de diffusion pour la génération, avec des encodeurs séparés par modalité et un espace de représentation partagé au milieu. Deux tailles existent, Super et Nano. La sortie de novembre, ce sont quatre post-entraînements spécialisés du plus petit.

Cosmos3-Nano-Transfer-Auto génère des données de conduite hors ligne. Il produit de la vidéo synchronisée sur jusqu'à 11 vues de caméra, y compris en fisheye, plus des nuages de points LiDAR. Le tracé de la route et le comportement du trafic sont réglés par caméra via une World Scenario Map, et l'apparence est pilotée par le texte.

Vue de dessus d'objectifs d'appareil photo noirs mats disposés en grille précise sur une surface gris clair.

Cosmos3-Nano-Sim-Auto est la version en flux de Transfer-Auto, distillée de façon causale. Il émet de petits blocs de vidéo de caméra synchronisée et de LiDAR en quelques étapes de débruitage, ce qu'il faut pour des rollouts interactifs longs plutôt que pour un clip figé.

Cosmos3-Nano-Sim-Transfer prend les commandes d'un simulateur physique plus un prompt texte et renvoie de la vidéo RVB photoréaliste. L'état physique reste dans le simulateur, et le modèle est conditionné par quatre contrôles spatiaux : profondeur, segmentation, contours et flou. Cette division est la partie utile. Vous gardez la dynamique à laquelle vous faites confiance et vous empruntez les pixels que vous n'avez pas.

Cosmos3-Nano-Sim-Bimanual prédit l'image suivante à partir d'actions bimanuelles de robot ou de caméra. Il prend en charge les incarnations YAM et AgiBot, et une seule séquence de contrôle peut basculer entre changement de point de vue et manipulation. L'exemple d'action mixte de la documentation utilise 59 valeurs de contrôle.

Le détail d'entraînement qui mérite lecture

NVIDIA a publié la recette en quatre étapes : adaptation bidirectionnelle, teacher forcing, distillation de cohérence et self-forcing.

C'est la dernière qui compte. Le self-forcing entraîne le modèle sur son propre historique généré, et pas seulement sur des images de référence, ce qui est l'astuce standard pour ralentir l'accumulation d'erreur en vidéo autorégressive. Si vous n'entraînez que sur un contexte propre, le modèle n'apprend jamais à se remettre de sa propre dérive, et la dérive se compose dès qu'il tourne librement.

Quiconque a vu une vidéo générée s'effondrer en dix secondes a vu le symptôme. Publier le correctif sous forme de recette, avec poids et code, est plus utile que publier une bande de démonstration de plus.

La phrase qu'il faudrait citer davantage

NVIDIA indique qu'il reste à mesurer si ces modèles soutiennent de façon fiable l'apprentissage et l'évaluation de politiques.

C'est une phrase d'une honnêteté rare pour un lancement, et elle devrait accompagner tout article sur les modèles de monde ouverts. Ce que l'entreprise dit, c'est qu'un modèle de monde qui produit de la vidéo crédible n'a pas pour autant été démontré comme environnement d'entraînement utile. Une politique entraînée dans un simulateur qui rend magnifiquement mais qui est physiquement faux apprendra la mauvaise chose et échouera dans le monde réel, et l'échec ressemblera à une hallucination plutôt qu'à un bug de physique.

Combler cet écart demande une évaluation que la plupart des équipes ne sont pas en mesure de mener : prendre une politique entraînée dans le monde généré, la déployer sur du matériel réel et mesurer l'écart. C'est cher, lent, et ce n'est pas le genre de résultat qui tient dans un billet de lancement.

Le cadrage honnête de cette sortie est donc que NVIDIA a remis à la communauté quatre générateurs solides et les recettes, tout en refusant explicitement d'affirmer qu'ils fonctionnent comme environnements d'entraînement. L'affirmation est à gagner par la communauté.

VFlash, et pourquoi les coordonnées ne sont pas des mots

Le décodage autorégressif a été conçu pour la langue, où le token suivant est une unité raisonnable. La géométrie n'est pas comme ça. Un robot a besoin d'un point de préhension, d'une orientation et d'un chemin, et générer cela une coordonnée à la fois est lent et fragile. Chaque prédiction dépend de la précédente, donc une erreur précoce se propage. Dix waypoints, cela fait dix occasions de dériver.

VFlash remplace la génération token par token par ce que NVIDIA appelle le décodage de primitives flash. Le modèle déclare la longueur de la sortie via un appel d'outil, déclare le type de primitive, puis un modèle brouillon léger prédit l'objet géométrique entier en parallèle pendant que le modèle vision-langage cible reste gelé. Trois problèmes d'ingénierie doivent être résolus pour que cela marche : l'alignement des frontières, pour qu'un bloc de décodage corresponde à une géométrie complète au lieu d'être découpé par une fenêtre de tokens ; l'alignement des positions, pour que coordonnées et waypoints tombent toujours dans des champs de largeur fixe ; et l'apprentissage de la structure géométrique, à quoi sert le modèle brouillon.

Le modèle brouillon est un Transformer non causal de cinq couches, entraîné avec le VLM cible complètement gelé. Les sous-tâches textuelles passent toujours par le décodage spéculatif. L'ensemble est un greffon, pas un réentraînement.

Les chiffres sont précis. Sur une H100 avec une taille de lot de 1, la prédiction de mouvement de points 3D atteint jusqu'à 25 fois la vitesse d'une génération simple. Le décodage d'actions de robot est jusqu'à 12 fois plus rapide. L'inférence de robot de bout en bout est jusqu'à 5,1 fois plus rapide. L'erreur de trajectoire 3D baisse jusqu'à 61 %, l'erreur moyenne de déplacement 3D reculant de 42,6 % sur six métriques dans ShareRobot-Bench et VABench-V. Sur DAVIS, la prédiction dense de mouvement 3D réduit l'erreur de déplacement de 27 %. La génération de boîtes englobantes sur COCO et Dense200 tourne 2,6 à 2,8 fois plus vite à précision à peu près égale à la référence.

Et dans MolmoSpaces, un modèle d'action du monde conditionné par la planification visuelle de VFlash atteint 70,2 % de réussite moyenne par tâche, contre 62,6 % pour la référence.

Le résumé de Jim Fan était que l'ère du modèle de vision de Système 1 est arrivée, et que la prochaine révolution de l'inférence est le raisonnement physique à vitesse de réflexe. Du marketing, mais la direction est juste. Le contrôle à vitesse de réflexe a besoin de décodeurs qui émettent la géométrie d'un seul coup.

Ce qu'une équipe doit retenir des deux

Si vous construisez quoi que ce soit qui touche le monde physique, la lecture pratique est que les deux moitiés de la pile viennent de devenir moins chères.

La moitié génération : quatre points de contrôle de 16B à télécharger, avec contrôle de scénario par caméra, synchronisation LiDAR et un mode conditionné par simulateur qui garde la physique là où vous lui faites confiance. Les prérequis sont peu glamours : Linux, un GPU NVIDIA, Docker et le container toolkit.

La moitié contrôle : un cadre de décodage qui transforme un VLM gelé en quelque chose d'assez rapide pour planifier aux fréquences de contrôle, sans le réentraîner.

La moitié que personne n'a livrée, c'est l'évaluation. Savoir si une politique entraînée sur des données générées par Cosmos se transfère sur du matériel réel reste une question ouverte, et NVIDIA le dit. C'est ce travail qui décidera si les modèles de monde ouverts sont un raccourci pour les données d'entraînement ou un très joli moteur de rendu.

Articles associés