Senza rigging: JST-2 di Viggle genera una scena 3D in un secondo

Viggle ha pubblicato il 19 ottobre un modello che genera una scena 3D in circa un secondo, con un costo di inferenza sotto il centesimo. Entrambi i numeri arrivano dalla pagina di lancio dell'azienda, misurati su una NVIDIA B200 e senza latenza di rete, quindi vanno letti come qualsiasi benchmark fornito da un fornitore. L'architettura che ci sta dietro, però, merita più attenzione dei numeri.

Il modello si chiama JST-2. JST sta per Joint Space-and-Time, spazio e tempo congiunti. Viggle lo descrive come un modello di fondazione del mondo nativo fisico, e l'espressione fa un lavoro vero invece di decorare un comunicato stampa.

Cosa cambia davvero «nativo fisico»

Quasi tutti i modelli video imparano il mondo attraverso i pixel. Guardano abbastanza fotogrammi e diventano bravissimi a prevedere come sarà il successivo, ed è per questo che possono produrre un'inquadratura bellissima di una sedia e poi perdere del tutto la sedia quando la camera si gira.

JST-2 non costruisce fotogrammi. La sua unità di base somiglia più a un atomo: un piccolo pezzo di materia con una posizione 3D reale, un materiale, un colore, una massa e la registrazione di come si muove e si deforma sotto una forza. Queste unità vengono tokenizzate in quelli che Viggle chiama Physics-Native Tokens, poi decodificate in splat gaussiani 3D che si renderizzano nel browser.

La conseguenza pratica è la persistenza. Una sedia resta parte della stanza quando distogli lo sguardo, perché non è una previsione, è un oggetto. Puoi orbitare intorno al risultato, camminare verso un angolo che il modello non ha mai renderizzato, e la scena regge. Il modello deve girare di nuovo solo quando aggiungi contenuti nuovi.

Il termine di paragone scelto da Viggle è Marble di World Labs, che la pagina di lancio cronometra intorno ai sei minuti per scena contro il secondo di JST-2. Quel divario non è una differenza di tuning: è generazione feed-forward contro ottimizzazione scena per scena. Il modello di Viggle produce la rappresentazione 3D direttamente in una passata invece di adattare una scena a posteriori.

{{INLINE1}}

La finestra di contesto è un luogo, non un documento

JST-2 accetta fino a 64 viste in ingresso come finestra di contesto spaziale. È un'espressione strana per un modello 3D, ma descrive bene l'interazione: espandi un mondo una vista alla volta, e ogni nuova vista diventa parte del contesto per ciò che viene dopo.

La demo funziona così. Nel film di lancio di Viggle, un robot raccoglie una scatola in un soggiorno. Istruzioni digitate aggiungono una donna, poi un padre e un bambino, poi mandano il robot dall'altra parte della stanza a consegnare la scatola al bambino. La camera alterna la stanza e la vista del robot stesso. Niente in quella sequenza ha richiesto di rilanciare la scena da zero.

Sessantaquattro viste sono un budget modesto per un ambiente grande, ed è il numero da tenere d'occhio. Le finestre di contesto spaziale si comportano come quelle di testo: la prima versione impressiona, la seconda cambia ciò che le persone costruiscono.

Il rigging è il punto in cui diventa commercialmente interessante

La funzione personaggio è la parte con la strada più corta verso i soldi. JST-2 trasforma una singola immagine, o una descrizione testuale, in un personaggio 3D pronto da animare. Nessuna fase di rigging separata. Nessun passaggio di skinning in cui un artista posiziona uno scheletro digitale e dipinge i pesi.

Il meccanismo sta nella rappresentazione a token. Secondo Viggle, i vettori di dinamica dentro i Physics-Native Tokens codificano come ogni parte di un personaggio si deforma sotto movimenti diversi. Queste dinamiche sono apprese dai dati, quindi il modello non consegna una mesh sperando che tu la rigghi dopo: consegna una mesh più un modello di deformazione.

Viggle ha condotto valutazioni umane in cieco contro Meshy 7.1 e Tripo H3.1. JST-2 ha vinto su entrambi nella generazione di personaggi, con il margine più ampio sui dettagli del viso, che è anche la cosa che più spesso si perde tra un riferimento 2D e un risultato 3D. Ha vinto anche sulla prontezza all'animazione, in particolare sull'articolazione delle mani e su come corpo e vestiti si deformano durante il movimento.

Viggle è esplicito sui punti deboli: la deformazione di vestiti complessi e il movimento dei capelli sono elencati come lavoro per le prossime versioni. Chiunque abbia visto un mantello generato attraversare una gamba generata riconoscerà in quei due punti la risposta onesta, non un'omissione di marketing.

Motion capture senza tuta

JST-2 fa anche movimento di tutto il corpo da testo o da un video di una performance reale, cioè motion capture senza marker con un altro nome. Gli esempi sulla pagina di lancio sono azioni comuni: schivata e accovacciata, capriola in avanti, calcio frontale, groove hip-hop, piroetta, robot dance, boxe, camminata con scansione, passaggio attraverso una porta, lavarsi i denti, digitazione veloce, indicare davanti a sé.

Nessuna è difficile per un essere umano. Tutte sono difficili per un rig, perché implicano trasferimento di peso, contatto e recupero. Portarle da un video di telefono a uno scheletro riutilizzabile è il passaggio per cui oggi la maggior parte dei piccoli studi paga un animatore.

Dove la fisica è ancora finta

Ecco la linea da tenere a mente. I materiali di Viggle dicono che JST-2 usa ancora regole fisiche programmate per collisioni e interazioni tra oggetti. Il modello successivo, JST-3, è in sviluppo per imparare quelle interazioni dai dati invece di farle scrivere a una persona.

Quindi «nativo fisico» descrive la rappresentazione, non una simulazione risolta. Il modello sa dove sono le cose e come si muovono; non sa ancora cosa succede quando due di esse si contendono lo stesso spazio. È la differenza tra un mondo che puoi esplorare e un mondo in cui puoi testare un robot, e Viggle dice esplicitamente che l'addestramento dei robot è la direzione, non la situazione attuale.

Viggle ha detto che l'obiettivo di JST-3 è un simulatore di mondo completo, che potrebbe stare sotto un motore di gioco o servire da campo di addestramento per l'intelligenza fisica. È un'affermazione grande, senza data di consegna. Quello che esiste oggi è un generatore di scene veloce, con un output di personaggi insolitamente buono.

Cosa puoi farci davvero questa settimana

JST-2 si può provare gratis dentro PINOC, l'app browser di Viggle per personaggi e movimento 3D. Il piano Free include 60 crediti, una volta sola, che secondo l'azienda coprono circa un minuto di movimento o fino a dodici personaggi da immagine a 3D, più un export di movimento e un export di personaggio. I crediti non si ricaricano nel piano gratuito e lì non si possono acquistare.

I piani a pagamento partono da circa 10.39 $ al mese con fatturazione annuale per 300 crediti, e la licenza conta: l'output del piano gratuito è limitato a progetti personali, valutazione e prototipazione. Il lavoro per clienti o qualsiasi cosa monetizzata richiede Starter o Pro. Gli export escono in FBX o GLB, quindi Blender, Unity o Unreal possono aprirli.

Se vuoi verificare l'affermazione spendendo poco, la sequenza più economica è: un'immagine, un movimento breve, un export. Il movimento costa un credito al secondo, quindi un clip di cinque secondi sono cinque crediti. Dodici idee stanno in un minuto gratuito se le tieni corte, e nel corto vedrai anche se l'affermazione sull'articolazione delle mani regge o crolla.

Il vero spostamento

Quello che cambia davvero qui non è la velocità. È che asset e animazione ora arrivano insieme. Per vent'anni la pipeline è stata modello, poi rig, poi animazione, e ogni freccia era una persona diversa con un formato di file diverso.

Far collassare le prime due frecce non elimina l'animatore. Elimina la parte del lavoro che era soprattutto contabilità, e rende il costo di una cattiva idea vicino a zero. Di solito è in quel momento che cambia un formato, non quando l'output diventa più bello.