Sin rigging: el JST-2 de Viggle genera una escena 3D en un segundo

Viggle publicó el 19 de octubre un modelo que genera una escena 3D en aproximadamente un segundo, con un coste de inferencia por debajo de un céntimo. Las dos cifras salen de la propia página de lanzamiento de la empresa, medidas sobre una NVIDIA B200 y sin contar la latencia de red, así que conviene tomarlas como cualquier benchmark de proveedor. Pero la arquitectura que hay detrás merece más atención que los números.

El modelo se llama JST-2. JST son las siglas de Joint Space-and-Time, espacio y tiempo conjuntos. Viggle lo describe como un modelo fundacional del mundo nativo en física, y la expresión hace trabajo real en lugar de adornar una nota de prensa.

Qué cambia de verdad lo de «nativo en física»

Casi todos los modelos de vídeo aprenden el mundo a través de píxeles. Ven suficientes fotogramas y se vuelven muy buenos prediciendo cómo será el siguiente, y por eso pueden producir un plano precioso de una silla y luego perderla por completo cuando la cámara gira.

JST-2 no construye fotogramas. Su unidad básica se parece más a un átomo: un trozo pequeño de materia con una posición 3D real, un material, un color, una masa y un registro de cómo se mueve y se deforma bajo una fuerza. Esas unidades se tokenizan en lo que Viggle llama Physics-Native Tokens y luego se decodifican en splats gaussianos 3D que se renderizan en un navegador.

La consecuencia práctica es la persistencia. Una silla sigue formando parte de la habitación cuando apartas la vista, porque no es una predicción, es un objeto. Puedes orbitar alrededor del resultado, caminar hacia una esquina que el modelo nunca renderizó y la escena aguanta. El modelo solo necesita volver a ejecutarse cuando añades contenido nuevo.

El objetivo de comparación de Viggle es Marble, de World Labs, que la página de lanzamiento cronometra en unos seis minutos por escena frente al segundo de JST-2. Esa diferencia no es de ajuste fino: es generación feed-forward contra optimización escena por escena. El modelo de Viggle produce la representación 3D directamente en una pasada en lugar de encajar una escena a posteriori.

{{INLINE1}}

La ventana de contexto es un lugar, no un documento

JST-2 acepta hasta 64 vistas de entrada como ventana de contexto espacial. Es una expresión rara para un modelo 3D, pero describe bien la interacción: amplías un mundo vista a vista, y cada vista nueva pasa a formar parte del contexto de lo que venga después.

Así funciona la demo. En la película de lanzamiento de Viggle, un robot recoge una caja en un salón. Las instrucciones escritas añaden a una mujer, luego a un padre y a un niño, y después mandan al robot cruzar la habitación para entregarle la caja al niño. La cámara alterna entre la habitación y la vista propia del robot. Nada de esa secuencia exigió volver a ejecutar la escena desde cero.

Sesenta y cuatro vistas es un presupuesto modesto para un entorno grande, y es la cifra que hay que vigilar. Las ventanas de contexto espacial se comportan como las de texto: la primera versión impresiona, la segunda cambia lo que la gente construye.

El rigging es donde esto se vuelve comercialmente interesante

La función de personaje es la parte con el camino más corto al dinero. JST-2 convierte una sola imagen, o una descripción de texto, en un personaje 3D listo para animar. Sin paso de rigging aparte. Sin pase de skinning en el que un artista coloca un esqueleto digital y pinta pesos.

El mecanismo está en la representación en tokens. Viggle dice que los vectores de dinámica dentro de sus Physics-Native Tokens codifican cómo se deforma cada parte de un personaje bajo distintos movimientos. Esa dinámica se aprende de los datos, así que el modelo no entrega una malla con la esperanza de que la rigues luego: entrega una malla más un modelo de deformación.

Viggle hizo evaluaciones humanas a ciegas contra Meshy 7.1 y Tripo H3.1. JST-2 ganó en las dos en generación de personajes, con su mayor margen en el detalle facial, que es justo lo que más se suele perder entre una referencia 2D y un resultado 3D. También ganó en preparación para animación, en particular en la articulación de las manos y en cómo se deforman cuerpo y ropa durante el movimiento.

Viggle es franco con los puntos débiles: la deformación de ropa compleja y el movimiento del pelo figuran como trabajo para próximas versiones. Quien haya visto una capa generada atravesar una pierna generada reconocerá ahí la respuesta honesta y no una omisión de marketing.

Captura de movimiento sin traje

JST-2 también hace movimiento de cuerpo completo a partir de texto o de un vídeo de una actuación real, que es captura de movimiento sin marcadores con otro nombre. Los ejemplos de la página de lanzamiento son acciones corrientes: esquivar y agacharse, voltereta hacia delante, patada frontal, groove de hip-hop, pirueta, baile robot, boxeo, caminar escaneando, cruzar una puerta, cepillarse los dientes, teclear rápido, señalar hacia delante.

Ninguna es difícil para una persona. Todas son difíciles para un rig, porque implican transferencia de peso, contacto y recuperación. Llevarlas de un vídeo de móvil a un esqueleto reutilizable es el paso por el que hoy la mayoría de los estudios pequeños paga a un animador.

Dónde la física sigue siendo falsa

Aquí está la línea que conviene retener. Los propios materiales de Viggle dicen que JST-2 sigue usando reglas de física programadas para colisiones e interacciones entre objetos. El siguiente modelo, JST-3, se está desarrollando para aprender esas interacciones de los datos en lugar de que una persona escriba las reglas.

Así que «nativo en física» describe la representación, no una simulación resuelta. El modelo sabe dónde están las cosas y cómo se mueven; todavía no sabe qué pasa cuando dos de ellas se disputan el mismo espacio. Esa es la diferencia entre un mundo que puedes explorar y un mundo en el que puedes probar un robot, y Viggle dice explícitamente que el entrenamiento de robots es hacia donde va, no donde está.

Viggle ha dicho que el objetivo de JST-3 es un simulador de mundo completo que podría colocarse debajo de un motor de juego o servir de campo de entrenamiento para inteligencia física. Es una afirmación grande y sin fecha de entrega. Lo que existe hoy es un generador de escenas rápido con una salida de personajes sorprendentemente buena.

Qué puedes hacer de verdad con esto esta semana

JST-2 se puede probar gratis dentro de PINOC, la aplicación de navegador de Viggle para personajes y movimiento en 3D. El plan Free incluye 60 créditos, una sola vez, que según la empresa cubren aproximadamente un minuto de movimiento o hasta doce personajes de imagen a 3D, más una exportación de movimiento y una de personaje. Los créditos no se recargan en el plan gratuito y ahí no se pueden comprar más.

Los planes de pago empiezan en torno a 10.39 $ al mes con facturación anual por 300 créditos, y la licencia importa: la salida del plan gratuito está limitada a proyectos personales, evaluación y prototipado. El trabajo para clientes o cualquier cosa monetizada necesita Starter o Pro. Las exportaciones salen en FBX o GLB, así que Blender, Unity o Unreal pueden abrirlas.

Si quieres probar la afirmación con poco dinero, la secuencia más barata es: una imagen, un movimiento corto, una exportación. El movimiento cuesta un crédito por segundo, así que un clip de cinco segundos son cinco créditos. Doce ideas caben en un minuto gratuito si las mantienes cortas, y en lo corto es también donde verás si la afirmación sobre la articulación de las manos se sostiene o se cae.

El cambio real

Lo que cambia aquí no es la velocidad. Es que el asset y la animación ahora llegan juntos. Durante veinte años el pipeline fue modelo, luego rig, luego animación, y cada flecha era una persona distinta con un formato de archivo distinto.

Colapsar las dos primeras flechas no elimina al animador. Elimina la parte del trabajo que era sobre todo papeleo, y hace que el coste de una mala idea sea casi cero. Normalmente es en ese momento cuando cambia un formato, no cuando la salida se vuelve más bonita.