NVIDIA libera cuatro modelos del mundo de 16B y la parte sin benchmark es el aprendizaje de políticas

El 5 de noviembre, NVIDIA puso cuatro checkpoints de Cosmos 3 en Hugging Face. Cada uno es una versión post-entrenada de Cosmos 3 Nano, de 16.000 millones de parámetros, publicada bajo OpenMDW1.1, una licencia que permite uso comercial y no comercial. Junto a los pesos, la empresa publicó las recetas de post-entrenamiento y el código de inferencia, de modo que un equipo puede adaptar los modelos a su propio equipamiento de sensores en lugar de solo ejecutarlos tal como vienen.
Al día siguiente, NVIDIA entregó VFlash, un marco de decodificado que ataca otra parte del mismo problema. Las dos publicaciones son más interesantes juntas que por separado, porque una genera el mundo y la otra trata de lo rápido que puedes decir dónde están las cosas en él.
Qué hacen los cuatro checkpoints
Cosmos 3 es una familia de modelos fundacionales del mundo que se lanzó en junio con una espina de mezcla de Transformers: una subsecuencia autorregresiva para el razonamiento y una subsecuencia de difusión para la generación, con codificadores separados por modalidad y un espacio de representación compartido en medio. Existen dos tamaños, Super y Nano. La publicación de noviembre son cuatro post-entrenamientos especializados del pequeño.
Cosmos3-Nano-Transfer-Auto genera datos de conducción offline. Produce vídeo sincronizado en hasta 11 vistas de cámara, incluidas las de ojo de pez, más nubes de puntos LiDAR. La disposición de la vía y el comportamiento del tráfico se fijan por cámara mediante un World Scenario Map, y la apariencia se dirige con texto.

Cosmos3-Nano-Sim-Auto es la versión de streaming destilada causalmente de Transfer-Auto. Emite pequeños bloques de vídeo de cámara y LiDAR sincronizados en unos pocos pasos de eliminación de ruido, que es lo que hace falta para rollouts interactivos largos en lugar de un clip fijo.
Cosmos3-Nano-Sim-Transfer toma los controles de un simulador físico más un prompt de texto y devuelve vídeo RGB fotorrealista. El estado físico se queda en el simulador, y el modelo se condiciona con cuatro controles espaciales: profundidad, segmentación, bordes y desenfoque. Esa división es la parte útil. Conservas la dinámica en la que confías y tomas prestados los píxeles que no tienes.
Cosmos3-Nano-Sim-Bimanual predice el siguiente fotograma a partir de acciones bimanuales de robot o de cámara. Admite las encarnaciones YAM y AgiBot, y una sola secuencia de control puede alternar entre cambios de punto de vista y manipulación. El ejemplo de acción mixta de la documentación usa 59 valores de control.
El detalle de entrenamiento que vale la pena leer
NVIDIA publicó la receta de cuatro etapas: adaptación bidireccional, teacher forcing, destilación de consistencia y self-forcing.
La última es la que hay que mirar. Self-forcing entrena el modelo con su propia historia generada en lugar de solo con fotogramas de referencia, que es el truco estándar para frenar la acumulación de error en vídeo autorregresivo. Si entrenas solo con contexto limpio, el modelo nunca aprende a recuperarse de su propia deriva, y la deriva se compone en cuanto corre libre.
Quien haya visto desmoronarse un vídeo de IA en diez segundos conoce el síntoma. Publicar la solución en forma de receta, con pesos y código, es más útil que publicar otro carrete de demostración.
La frase que debería citarse más
NVIDIA dice que aún está por medir si estos modelos sostienen de forma fiable el aprendizaje de políticas y su evaluación.
Es una línea inusualmente honesta para un lanzamiento, y debería viajar con cualquier historia sobre modelos del mundo abiertos. Lo que dice la empresa es que un modelo del mundo que produce vídeo creíble no queda por eso demostrado como entorno de entrenamiento útil. Una política entrenada dentro de un simulador que renderiza de maravilla pero es físicamente incorrecto aprenderá lo incorrecto y fallará en el mundo real, y el fallo parecerá una alucinación y no un error de física.
Cerrar esa brecha requiere una evaluación para la que la mayoría de los equipos no está montada: tomar una política entrenada en el mundo generado, desplegarla en hardware real y medir la diferencia. Es caro, lento y no es el tipo de resultado que cabe en una nota de lanzamiento.
Así que el encuadre honesto de esta publicación es que NVIDIA entregó a la comunidad cuatro generadores fuertes más las recetas, y declinó explícitamente afirmar que funcionan como entornos de entrenamiento. La afirmación es de la comunidad, que tendrá que ganársela.
VFlash, y por qué las coordenadas no son palabras
El decodificado autorregresivo se diseñó para el lenguaje, donde el siguiente token es una unidad razonable. La geometría no es así. Un robot necesita un punto de agarre, una orientación y una ruta, y generar eso coordenada a coordenada es lento y frágil. Cada predicción se condiciona con la anterior, así que un error temprano se propaga. Diez puntos de paso significan diez ocasiones de derivar.
VFlash sustituye la generación token a token por lo que NVIDIA llama decodificado de primitivas flash. El modelo declara mediante una llamada a herramienta cuánto medirá la salida, declara el tipo de primitiva, y luego un modelo borrador ligero predice todo el objeto geométrico en paralelo mientras el modelo de visión-lenguaje objetivo permanece congelado. Hay que resolver tres problemas de ingeniería: alineación de fronteras, para que un bloque de decodificado corresponda a una geometría completa y no quede cortado por una ventana de tokens; alineación de posiciones, para que coordenadas y puntos de paso caigan siempre en campos de ancho fijo; y aprendizaje de la estructura geométrica, que es para lo que sirve el modelo borrador.
El modelo borrador es un Transformer no causal de cinco capas, entrenado con el VLM objetivo completamente congelado. Las subtareas de texto siguen pasando por decodificado especulativo. Todo el conjunto es un complemento, no un reentrenamiento.
Las cifras son concretas. En una H100 con tamaño de lote uno, la predicción de movimiento de puntos 3D alcanza hasta 25 veces la velocidad de una generación individual. El decodificado de acciones de robot es hasta 12 veces más rápido. La inferencia de robot de extremo a extremo, hasta 5,1 veces más rápida. El error de trayectoria 3D baja hasta un 61 por ciento, con un error medio de desplazamiento 3D un 42,6 por ciento menor en seis métricas sobre ShareRobot-Bench y VABench-V. En DAVIS, la predicción densa de movimiento 3D recorta el error de desplazamiento un 27 por ciento. La generación de cajas en COCO y Dense200 corre 2,6 a 2,8 veces más rápido con una precisión cercana a la línea base.
Y en MolmoSpaces, un modelo de acción en el mundo condicionado con planificación visual de VFlash alcanza 70,2 por ciento de éxito medio en tareas frente a 62,6 por ciento de la línea base.
El resumen de Jim Fan fue que la era del modelo de visión de Sistema 1 ha llegado y que la próxima revolución de la inferencia es el razonamiento físico a velocidad de reflejo. Marketing, pero la dirección es correcta. El control a velocidad de reflejo necesita decodificadores que emitan geometría de un solo golpe.
Qué debería llevarse un equipo del par
Si construyes algo que toca el mundo físico, la lectura práctica es que las dos mitades de la pila acaban de abaratarse.
La mitad de generación: cuatro checkpoints de 16B que puedes descargar, con control de escenario por cámara, sincronización LiDAR y un modo condicionado por simulador que mantiene la física donde puedes confiar en ella. Los requisitos son poco glamurosos: Linux, una GPU NVIDIA, Docker y el kit de contenedores.
La mitad de control: un marco de decodificado que convierte un VLM congelado en algo lo bastante rápido para planificar a ritmos de control, sin reentrenarlo.
La mitad que nadie entregó es la evaluación. Si una política entrenada con datos generados por Cosmos se transfiere a hardware real sigue siendo una pregunta abierta, y NVIDIA lo dice. Ese es el trabajo que decidirá si los modelos del mundo abiertos son un atajo para datos de entrenamiento o un renderizador muy bonito.
Artículos relacionados
Google sacó los agentes de código del portátil, y el aviso de permiso sigue siendo el cuello de botella
La fontanería está casi resuelta. El aviso de permiso sigue siendo el cuello de botella humano.
Cuatro de los repos más populares de GitHub son bibliotecas de skills, y ya hay un problema de empaquetado
La adopción va bien. El fallo interesante son cuatro formas incompatibles de instalar el mismo objeto.
Thinking Machines lanzó un modelo de 594B y dejó los pesos para la semana que viene
Un modelo fuerte, una receta documentada, una capacidad infravalorada y una fecha que el laboratorio no ha comprometido.
Los agentes de IA todavía leen mal uno de cada tres geles, y el nuevo benchmark de OpenAI muestra dónde
Un recuento de colonias un 12 % alto y una placa de kanamicina tomada por un control de ampicilina. Los errores concretos valen más que la media.