← Zurück zum Blog
Aica. 6 Min. Lesezeit

NVIDIA gibt vier 16B-Weltmodelle frei, und der Teil ohne Benchmark ist Policy-Learning

Veröffentlicht 11. Nov. 2026
NVIDIA gibt vier 16B-Weltmodelle frei, und der Teil ohne Benchmark ist Policy-Learning

Am 5. November stellte NVIDIA vier Cosmos-3-Checkpoints auf Hugging Face. Jeder ist eine nachtrainierte Version des 16 Milliarden Parameter großen Cosmos 3 Nano, veröffentlicht unter OpenMDW1.1, einer Lizenz, die kommerzielle und nichtkommerzielle Nutzung erlaubt. Neben den Gewichten veröffentlichte das Unternehmen die Post-Training-Rezepte und den Inferenzcode, sodass ein Team die Modelle an seine eigene Sensorausstattung anpassen kann statt sie nur wie ausgeliefert zu fahren.

Am nächsten Tag lieferte NVIDIA VFlash nach, ein Decoding-Framework, das einen anderen Teil desselben Problems angeht. Zusammen sind die beiden Veröffentlichungen interessanter als getrennt, weil die eine die Welt erzeugt und die andere dafür sorgt, dass man schnell sagen kann, wo die Dinge darin sind.

Was die vier Checkpoints tun

Cosmos 3 ist eine Familie von World-Foundation-Modellen, die im Juni mit einem Mixture-of-Transformers-Backbone startete: eine autoregressive Teilsequenz für Reasoning, eine Diffusions-Teilsequenz für Generierung, getrennte Encoder pro Modalität und ein gemeinsamer Repräsentationsraum in der Mitte. Es gibt zwei Größen, Super und Nano. Die November-Veröffentlichung sind vier spezialisierte Post-Trains der kleineren.

Cosmos3-Nano-Transfer-Auto erzeugt Offline-Fahrdaten. Es produziert synchronisiertes Video über bis zu 11 Kameraperspektiven, Fisheye eingeschlossen, plus LiDAR-Punktwolken. Straßenlayout und Verkehrsverhalten werden pro Kamera über eine World Scenario Map gesetzt, die Optik über Text gesteuert.

Draufsicht auf mattschwarze Kameraobjektive, in einem präzisen Raster auf einer hellgrauen Fläche angeordnet.

Cosmos3-Nano-Sim-Auto ist die kausal destillierte Streaming-Version von Transfer-Auto. Es gibt kleine Blöcke aus synchronisiertem Kameravideo und LiDAR in wenigen Denoising-Schritten aus, was man für lange interaktive Rollouts braucht statt für einen festen Clip.

Cosmos3-Nano-Sim-Transfer nimmt die Steuerungen eines Physiksimulators plus einen Text-Prompt und liefert fotorealistisches RGB-Video. Der Physikzustand bleibt im Simulator, und das Modell wird auf vier räumliche Steuerungen konditioniert: Tiefe, Segmentierung, Kanten und Unschärfe. Diese Trennung ist der nützliche Teil. Du behältst die Dynamik, der du traust, und leihst dir die Pixel, die du nicht hast.

Cosmos3-Nano-Sim-Bimanual sagt den nächsten Videoframe aus bimanuellen Roboter- oder Kameraaktionen voraus. Es unterstützt die Embodiments YAM und AgiBot, und eine einzige Steuersequenz kann zwischen Blickwinkeländerungen und Manipulation wechseln. Das Beispiel für gemischte Aktionen in der Dokumentation nutzt 59 Steuerwerte.

Das Trainingsdetail, das sich zu lesen lohnt

NVIDIA veröffentlichte das vierstufige Rezept: bidirektionale Adaption, Teacher Forcing, Konsistenzdestillation und Self-Forcing.

Der letzte Punkt ist der, auf den man achten sollte. Self-Forcing trainiert das Modell auf seiner eigenen erzeugten Historie statt nur auf Ground-Truth-Frames, was der Standardtrick ist, um Fehlerakkumulation in autoregressivem Video zu bremsen. Wer nur auf sauberem Kontext trainiert, dessen Modell lernt nie, sich von eigener Drift zu erholen, und die Drift summiert sich, sobald es frei läuft.

Wer je gesehen hat, wie KI-Video über zehn Sekunden auseinanderfällt, kennt das Symptom. Die Behebung als Rezept zu veröffentlichen, mit Gewichten und Code, ist nützlicher als eine weitere Demo-Rolle.

Der Satz, der öfter zitiert werden sollte

NVIDIA sagt, es sei noch zu messen, ob diese Modelle Policy-Learning und Evaluation zuverlässig tragen.

Das ist für einen Launch ungewöhnlich ehrlich, und es sollte in jeder Geschichte über offene Weltmodelle mitreisen. Das Unternehmen sagt damit: Ein Weltmodell, das glaubwürdiges Video erzeugt, ist damit noch nicht als nützliche Trainingsumgebung gezeigt. Eine Policy, die in einem Simulator trainiert wird, der schön rendert, aber physikalisch falsch ist, lernt das Falsche und scheitert in der realen Welt, und das Scheitern sieht dann wie eine Halluzination aus, nicht wie ein Physikfehler.

Diese Lücke zu schließen verlangt Evaluation, für die die meisten Teams nicht aufgestellt sind: eine im erzeugten Weltmodell trainierte Policy auf echter Hardware einsetzen und das Delta messen. Das ist teuer, langsam und keine Art Ergebnis, die in einen Launch-Post passt.

Die ehrliche Rahmung dieser Veröffentlichung ist also: NVIDIA hat der Community vier starke Generatoren plus die Rezepte gegeben und ausdrücklich darauf verzichtet zu behaupten, sie funktionierten als Trainingsumgebung. Die Behauptung muss die Community verdienen.

VFlash, und warum Koordinaten keine Wörter sind

Autoregressives Decoding wurde für Sprache entworfen, wo das nächste Token eine vernünftige Einheit ist. Geometrie ist nicht so. Ein Roboter braucht einen Greifpunkt, eine Orientierung und einen Pfad, und die Koordinate für Koordinate zu erzeugen ist langsam und fragil. Jede Vorhersage konditioniert auf die vorige, also pflanzt sich ein früher Fehler fort. Zehn Wegpunkte bedeuten zehn Chancen zu driften.

VFlash ersetzt die Token-für-Token-Generierung durch das, was NVIDIA Flash-Primitive-Decoding nennt. Das Modell erklärt über einen Tool-Call, wie lang die Ausgabe wird, erklärt den Primitivtyp, und dann sagt ein leichtes Draft-Modell das ganze geometrische Objekt parallel voraus, während das Ziel-Vision-Language-Modell eingefroren bleibt. Drei Ingenieursprobleme müssen dafür gelöst werden: Boundary Alignment, damit ein Decode-Block auf eine vollständige Geometrie abbildet und nicht von einem Token-Fenster zerschnitten wird; Position Alignment, damit Koordinaten und Wegpunkte immer in Feldern fester Breite landen; und Geometry Structure Learning, wofür das Draft-Modell da ist.

Das Draft-Modell ist ein fünfschichtiger nicht-kausaler Transformer, trainiert, während das Ziel-VLM komplett eingefroren ist. Text-Subtasks laufen weiter über speculative decoding. Das Ganze ist ein Plug-in, kein Retraining.

Die Zahlen sind konkret. Auf einer H100 bei Batch Size eins erreicht die 3D-Punktbewegungsvorhersage bis zu 25-mal die Geschwindigkeit einer Einzelgeneration. Robot-Action-Decoding ist bis zu 12-mal schneller. Ende-zu-Ende-Roboterinferenz bis zu 5,1-mal schneller. Der 3D-Trajektorienfehler sinkt um bis zu 61 Prozent, der mittlere 3D-Verschiebungsfehler um 42,6 Prozent über sechs Metriken auf ShareRobot-Bench und VABench-V. Auf DAVIS senkt dichte 3D-Bewegungsvorhersage den Verschiebungsfehler um 27 Prozent. Bounding-Box-Generierung auf COCO und Dense200 läuft 2,6- bis 2,8-mal schneller bei etwa Baseline-Genauigkeit.

Und in MolmoSpaces erreicht ein World-Action-Modell, konditioniert auf VFlash-Visual-Planning, 70,2 Prozent durchschnittlichen Task-Erfolg gegen 62,6 Prozent für die Baseline.

Jim Fans Zusammenfassung war, die Ära des System-1-Vision-Modells sei da, und die nächste Inferenzrevolution sei physisches Reasoning in Reflexgeschwindigkeit. Marketing, aber die Richtung stimmt. Kontrolle in Reflexgeschwindigkeit braucht Decoder, die Geometrie in einem Schuss ausgeben.

Was ein Team aus dem Paar mitnehmen sollte

Wer irgendetwas baut, das die physische Welt berührt, liest daraus: Die beiden Hälften des Stacks sind gerade billiger geworden.

Die Generierungshälfte: vier 16B-Checkpoints zum Herunterladen, mit Szenariosteuerung pro Kamera, LiDAR-Synchronisation und einem simulator-konditionierten Modus, der die Physik dort lässt, wo man ihr trauen kann. Die Anforderungen sind unglamourös: Linux, eine NVIDIA-GPU, Docker und das Container Toolkit.

Die Steuerungshälfte: ein Decoding-Framework, das ein eingefrorenes VLM schnell genug macht, um in Regelraten zu planen, ohne es neu zu trainieren.

Die Hälfte, die niemand ausgeliefert hat, ist die Evaluation. Ob eine auf Cosmos-Daten trainierte Policy auf echte Hardware überträgt, ist weiter offen, und NVIDIA sagt das. Diese Arbeit entscheidet, ob offene Weltmodelle eine Abkürzung zu Trainingsdaten sind oder ein sehr hübscher Renderer.

Verwandte Artikel