El modelo de mundo 4B de NVIDIA ya corre en un Mac. No es una cámara

El 7 de noviembre, un desarrollador que publica como NetProjects subió un port a MLX de Cosmos3-Edge, de NVIDIA. El build completo pesa 7.6 GB. El build de 8 bits pesa 5.0 GB. En un M5 Max con 128 GB de memoria unificada, la versión de 8 bits ejecutó el ejemplo de imagen a video de la propia NVIDIA, 832 por 480 en 121 fotogramas, en 113 segundos, con un pico de memoria de 18.8 GB.
Lee otra vez esos números en las unidades que importan. 113 segundos para generar unos cinco segundos de video en 480p. Eso es más o menos un fotograma por segundo de cómputo, en un portátil, para un modelo de cuatro mil millones de parámetros.
La reacción obvia es que esto no sirve para hacer video. La reacción correcta es que nadie lo construyó para hacer video.
Qué es Cosmos3-Edge en realidad
Cosmos3-Edge es un modelo de mundo de 4B parámetros. Genera video en 256p o 480p, de 50 a 150 fotogramas, a partir de texto o de una imagen inicial. Se publica bajo la licencia OpenMDW 1.1, que permite uso comercial.
La palabra importante es modelo de mundo. NVIDIA construyó esta familia para robótica y conducción autónoma, donde la tarea es predecir qué pasa después dada una escena y una acción. La salida es una hipótesis sobre física: si el vehículo mantiene esa trayectoria, ¿el peatón se cruza, la caja resbala, el brazo choca con la estantería?
La propia model card de NVIDIA dice que las salidas «no deben tratarse como simulación físicamente precisa». Esa frase es todo el brief de diseño. Se supone que el modelo produce movimiento lo bastante plausible para entrenar contra él y equivocado en formas que puedes medir. Un render fotorrealista que viola la conservación del momento es peor que uno feo que la respeta, si tu consumidor aguas abajo es una red de política.
Así que el techo de 480p no es una limitación por la que disculparse. El entrenamiento de robótica no necesita 4K. Necesita muchas variaciones, rápido, baratas y lo bastante consistentes para que una política entrenada con ellas transfiera al mundo real.
Por qué importa el port a Mac
Porque cambia quién puede ejecutar uno.
Hasta ahora, evaluar un modelo de mundo significaba una asignación de GPU. Pequeña, pero real, con driver, contenedor y el cluster de alguien. Eso es un filtro. Significa que quienes pueden hurgar en un modelo son quienes ya tienen infraestructura, y quienes tienen la pregunta interesante de robótica muchas veces no.
Un build de 5.0 GB en 8 bits que corre en Apple silicon bajo MLX quita el filtro. Cualquiera con un Mac reciente y memoria suficiente puede generar cien clips de noche, mirarlos y formarse una opinión. Así es como una dirección de investigación se vuelve campo en lugar de demo.
La cifra de 128 GB hace trabajo aquí. Un pico de 18.8 GB significa que la máquina no tiene que ser la tope de gama. Un Mac de 32 GB debería alojar el build de 8 bits con espacio para el sistema. Los 113 segundos empeorarán con menos ancho de banda de memoria, pero poder ejecutarlo es el umbral que importa.
Hay además un punto más sutil sobre MLX en concreto. El framework de Apple está optimizado para memoria unificada, lo que le sienta bien a esta carga. Un modelo de video tipo difusión de 4B está limitado por ancho de banda de memoria más que por cómputo. Por eso el port es plausible y por eso rinde mejor de lo que sugeriría una estimación ingenua basada en teraflops.
Las advertencias son reales
Este es un port no oficial. El autor declara sin rodeos que no tiene vínculo con NVIDIA. No hay demo. Cuando el sitio de noticias intentó abrir la página de instalación en GitHub, falló.
Una descarga de 5 GB, un entorno MLX y un modelo sin demo y con una página de instalación que puede o no renderizar es un artefacto de fin de semana de alguien que quería ver si funcionaba. No es un producto. Trata cualquier afirmación de rendimiento en consecuencia, incluidos los 113 segundos, que son un solo dato en una sola máquina con un solo ejemplo.
También hay un detalle de licencia que conviene leer antes de construir algo comercial encima. OpenMDW 1.1 permite uso comercial, pero no es Apache 2.0 ni MIT. Lee los términos, sobre todo si piensas distribuir pesos o salidas.
Y la advertencia de calidad de siempre para modelos de mundo. Dale una foto de una cocina y un prompt sobre un brazo robótico que alcanza una taza, y obtendrás movimiento que se lee como plausible. Mira de cerca y la taza puede cambiar de forma, el brazo puede atravesar la encimera, la luz puede derivar. Esos fallos son justo lo que un investigador de robótica quiere medir. Son justo lo que un editor de video no puede usar.
Qué compras con 113 segundos
Voy a ser concreto sobre el intercambio, porque la cifra suena mal y probablemente no lo es.
Si generas datos de entrenamiento para una política de manipulación, no necesitas veinte clips. Necesitas miles, variados en iluminación, pose del objeto, ángulo de cámara y material de superficie. Un pipeline que produce un clip de 121 fotogramas cada dos minutos en un portátil produce unos 700 clips al día, sin supervisión. Es un conjunto usable para un experimento pequeño, y cuesta electricidad.
Compáralo con alquilar tiempo de GPU para el mismo volumen. El alquiler es más rápido por clip y exige una capa operativa entera. Para un estudiante de posgrado o una startup de dos personas que prueba si un modelo de mundo es siquiera el enfoque correcto, el portátil gana en tiempo hasta el primer resultado, que es la única métrica que importa en esa etapa.
La otra cosa que compras con 113 segundos es honestidad sobre la escala. Cuando cada clip cuesta dos minutos de atención de tu propia máquina, los miras. Notas los fallos. Cuando cada clip cuesta cuatro centavos y llega en un lote de quinientos, agregas y sigues. La lentitud es una función de fuerza para leer de verdad tus salidas.
El patrón que hay que mirar
Lo que importa esta semana es el tiempo. El port salió seis días después del ciclo de lanzamiento del modelo, hecho por una persona, gratis, en hardware que NVIDIA no vende.
El camino de la difusión para pesos abiertos ahora es este. Un laboratorio publica pesos bajo una licencia más o menos permisiva. En una semana, alguien tiene un build de MLX, otra persona tiene una cuantización GGUF y un tercero tiene un nodo de ComfyUI. El tooling oficial llega meses después, si llega.
Para NVIDIA esto es sobre todo bueno. Cosmos es una apuesta estratégica a que los modelos de mundo se conviertan en el sustrato de entrenamiento de la IA física, y un sustrato vale más cuanta más gente puede ejecutarlo. Atarlo a GPU de datacenter protegería un margen y encogería un ecosistema.
Para Apple es una victoria silenciosa. Cada uno de estos ports es un argumento de que la memoria unificada basta para cargas de inferencia que la gente suponía que necesitaban tarjeta dedicada. El M5 Max no gana a una H100 en nada. Hace que una categoría de modelo sea ejecutable por gente que nunca va a tocar una H100.
Si la cifra de 113 segundos sobrevive al contacto con más usuarios es una pregunta abierta. Alguien lo correrá en un M4 Pro con 24 GB, chocará con un muro de memoria y publicará una corrección. Está bien. La afirmación útil es que un modelo de mundo de 4B ahora cabe en un portátil, lo que cambia quién tiene derecho a opinar sobre modelos de mundo. La velocidad es una nota al pie.
Artículos relacionados
Google sacó los agentes de código del portátil, y el aviso de permiso sigue siendo el cuello de botella
La fontanería está casi resuelta. El aviso de permiso sigue siendo el cuello de botella humano.
NVIDIA libera cuatro modelos del mundo de 16B y la parte sin benchmark es el aprendizaje de políticas
NVIDIA dice que no está medido si estos modelos sirven para aprender políticas. La frase debería acompañar cualquier historia sobre modelos del mundo abiertos.
Cuatro de los repos más populares de GitHub son bibliotecas de skills, y ya hay un problema de empaquetado
La adopción va bien. El fallo interesante son cuatro formas incompatibles de instalar el mismo objeto.
Thinking Machines lanzó un modelo de 594B y dejó los pesos para la semana que viene
Un modelo fuerte, una receta documentada, una capacidad infravalorada y una fecha que el laboratorio no ha comprometido.