Sans rigging : JST-2 de Viggle génère une scène 3D en une seconde

Viggle a publié le 19 octobre un modèle qui génère une scène 3D en une seconde environ, pour un coût d'inférence inférieur à un centime. Ces deux chiffres viennent de la page de lancement de l'entreprise, mesurés sur une NVIDIA B200 et hors latence réseau. Traitez-les comme n'importe quel benchmark fourni par un vendeur. Mais l'architecture derrière mérite plus d'attention que les chiffres.

Le modèle s'appelle JST-2. JST pour Joint Space-and-Time, l'espace et le temps joints. Viggle le présente comme un modèle de fondation du monde natif physique, et la formule fait un vrai travail plutôt que de décorer un communiqué de presse.

Ce que « natif physique » change réellement

La plupart des modèles vidéo apprennent le monde à travers les pixels. Ils regardent assez d'images et deviennent très bons pour prédire à quoi ressemblera la suivante, ce qui explique qu'ils produisent un plan superbe d'une chaise puis perdent complètement la chaise quand la caméra se retourne.

JST-2 ne construit pas des images. Son unité de base est plus proche de l'atome : un petit morceau de matière avec une position 3D réelle, un matériau, une couleur, une masse, et l'enregistrement de sa façon de bouger et de se déformer sous une contrainte. Ces unités sont tokenisées en ce que Viggle appelle des Physics-Native Tokens, puis décodées en splats gaussiens 3D qui se rendent dans un navigateur.

La conséquence pratique, c'est la persistance. Une chaise reste une partie de la pièce quand vous détournez le regard, parce qu'elle n'est pas une prédiction, c'est un objet. Vous pouvez tourner autour du résultat, aller dans un coin que le modèle n'a jamais rendu, et la scène tient. Le modèle ne doit être relancé que lorsque vous ajoutez du contenu.

La cible de comparaison de Viggle, c'est Marble de World Labs, que la page de lancement chronomètre à environ six minutes par scène, contre une seconde pour JST-2. L'écart n'est pas une différence de réglage : c'est de la génération feed-forward contre de l'optimisation scène par scène. Le modèle de Viggle produit la représentation 3D directement en une passe au lieu d'ajuster une scène après coup.

{{INLINE1}}

La fenêtre de contexte est un lieu, pas un document

JST-2 accepte jusqu'à 64 vues en entrée comme fenêtre de contexte spatial. L'expression est étrange pour un modèle 3D, mais elle décrit bien l'interaction : vous étendez un monde une vue à la fois, et chaque nouvelle vue devient une partie du contexte de ce qui suit.

C'est ainsi que fonctionne la démo. Dans le film de lancement de Viggle, un robot ramasse une boîte dans un salon. Des instructions tapées ajoutent une femme, puis un père et un enfant, puis envoient le robot traverser la pièce pour tendre la boîte à l'enfant. La caméra alterne entre la pièce et la vue propre du robot. Rien dans cette séquence n'a demandé de relancer la scène de zéro.

Soixante-quatre vues, c'est un budget modeste pour un grand environnement, et c'est le chiffre à surveiller. Les fenêtres de contexte spatial se comportent comme les fenêtres de contexte texte : la première version impressionne, la deuxième change ce que les gens construisent.

Le rigging, voilà où ça devient commercialement intéressant

La fonction personnage est la partie dont le chemin vers l'argent est le plus court. JST-2 transforme une seule image, ou une description textuelle, en un personnage 3D prêt à être animé. Pas d'étape de rigging séparée. Pas de passe de skinning où un artiste place un squelette numérique et peint des poids.

Le mécanisme est dans la représentation en tokens. Viggle dit que les vecteurs de dynamique à l'intérieur de ses Physics-Native Tokens encodent la façon dont chaque partie d'un personnage se déforme selon les mouvements. Ces dynamiques sont apprises à partir de données : le modèle ne livre donc pas un maillage en espérant que vous le riggerez plus tard, il livre un maillage plus un modèle de déformation.

Viggle a mené des évaluations humaines à l'aveugle face à Meshy 7.1 et Tripo H3.1. JST-2 l'emporte sur les deux en génération de personnages, avec sa plus large avance sur le détail du visage, qui est aussi ce qui se perd le plus souvent entre une référence 2D et un résultat 3D. Il l'emporte également sur l'aptitude à l'animation, en particulier l'articulation des mains et la déformation du corps et des vêtements pendant le mouvement.

Viggle est franc sur les points faibles : la déformation de vêtements complexes et le mouvement des cheveux sont annoncés pour de prochaines versions. Quiconque a vu une cape générée traverser une jambe générée reconnaîtra là la réponse honnête plutôt qu'un oubli marketing.

La capture de mouvement sans la combinaison

JST-2 fait aussi du mouvement corps entier à partir de texte ou d'une vidéo d'une performance réelle, ce qui est de la capture de mouvement sans marqueurs sous un autre nom. Les exemples de la page de lancement sont des actions ordinaires : esquive et accroupissement, roulade avant, coup de pied frontal, groove hip-hop, pirouette, danse robot, boxe, marche d'exploration, passage de porte, brossage de dents, frappe rapide, pointage vers l'avant.

Aucune n'est difficile pour un humain. Toutes sont difficiles pour un rig, parce qu'elles impliquent transfert de poids, contact et récupération. Les faire passer d'une vidéo de téléphone à un squelette réutilisable, c'est l'étape où la plupart des petits studios paient aujourd'hui un animateur.

Là où la physique est encore simulée

Voici la ligne à retenir. Les propres documents de Viggle indiquent que JST-2 utilise encore des règles physiques programmées pour les collisions et les interactions d'objets. Le modèle suivant, JST-3, est développé pour apprendre ces interactions à partir de données au lieu de faire écrire les règles par un humain.

Donc « natif physique » décrit la représentation, pas une simulation résolue. Le modèle sait où sont les choses et comment elles bougent ; il ne sait pas encore ce qui se passe quand deux d'entre elles se disputent le même espace. C'est la différence entre un monde que l'on peut explorer et un monde dans lequel on peut tester un robot, et Viggle dit explicitement que l'entraînement de robots est la direction, pas la situation actuelle.

Viggle a dit que l'objectif de JST-3 est un simulateur de monde complet, qui pourrait se placer sous un moteur de jeu ou servir de terrain d'entraînement à une intelligence physique. C'est une grande promesse, sans date de livraison. Ce qui existe aujourd'hui, c'est un générateur de scènes rapide, avec une sortie de personnages inhabituellement bonne.

Ce que vous pouvez réellement en faire cette semaine

JST-2 est gratuit à essayer dans PINOC, l'application navigateur de Viggle pour les personnages et le mouvement en 3D. L'offre gratuite comprend 60 crédits, une seule fois, ce qui couvre selon l'entreprise environ une minute de mouvement ou jusqu'à douze personnages image-vers-3D, plus un export de mouvement et un export de personnage. Les crédits ne se rechargent pas sur l'offre gratuite et les rechargements n'y sont pas disponibles.

Les offres payantes commencent autour de 10.39 $ par mois en facturation annuelle pour 300 crédits, et la licence compte : la sortie de l'offre gratuite est limitée aux projets personnels, à l'évaluation et au prototypage. Le travail pour client ou tout ce qui est monétisé nécessite Starter ou Pro. Les exports sortent en FBX ou GLB, donc Blender, Unity ou Unreal peuvent les ouvrir.

Si vous voulez tester l'affirmation à moindre coût, la séquence la moins chère est : une image, un mouvement court, un export. Le mouvement coûte un crédit par seconde, donc un clip de cinq secondes, c'est cinq crédits. Douze idées tiennent dans une minute gratuite si vous les gardez courtes, et c'est aussi dans le court que vous verrez si l'affirmation sur l'articulation des mains tient ou s'effondre.

Le vrai basculement

Ce qui change vraiment ici, ce n'est pas la vitesse. C'est que l'asset et l'animation arrivent désormais ensemble. Pendant vingt ans, le pipeline a été : modèle, puis rig, puis animation, et chaque flèche était une personne différente avec un format de fichier différent.

Écraser les deux premières flèches ne supprime pas l'animateur. Ça supprime la partie du métier qui relevait surtout de la comptabilité, et ça rend le coût d'une mauvaise idée proche de zéro. C'est généralement à ce moment-là qu'un format change, pas quand la sortie devient plus jolie.