Kein Rigging nötig: Viggle JST-2 baut eine 3D-Szene in einer Sekunde

Viggle hat am 19. Oktober ein Modell veröffentlicht, das eine 3D-Szene in etwa einer Sekunde erzeugt, bei Inferenzkosten unter einem Cent. Beide Zahlen stammen von der eigenen Launch-Seite des Unternehmens, gemessen auf einer NVIDIA B200 ohne Netzwerklatenz. Man sollte sie also so lesen wie jeden Hersteller-Benchmark. Die Architektur dahinter verdient aber mehr Aufmerksamkeit als die Zahlen.

Das Modell heißt JST-2. JST steht für Joint Space-and-Time, also gemeinsamer Raum und Zeit. Viggle nennt es ein physik-natives Welt-Grundlagenmodell, und dieser Begriff arbeitet tatsächlich, statt nur eine Pressemitteilung zu schmücken.

Was „physik-nativ“ wirklich ändert

Die meisten Videomodelle lernen die Welt über Pixel. Sie sehen genug Frames und werden sehr gut darin vorherzusagen, wie der nächste aussieht. Deshalb gelingt ihnen eine wunderschöne Aufnahme eines Stuhls, und dann verlieren sie den Stuhl komplett, sobald die Kamera sich dreht.

JST-2 baut keine Frames. Seine Grundeinheit ist eher ein Atom: ein kleines Stück Materie mit einer echten 3D-Position, einem Material, einer Farbe, einer Masse und einer Aufzeichnung davon, wie es sich unter Kraft bewegt und verformt. Diese Einheiten werden in sogenannte Physics-Native Tokens tokenisiert und dann in 3D-Gaussian-Splats dekodiert, die im Browser rendern.

Die praktische Folge ist Persistenz. Ein Stuhl bleibt Teil des Raums, wenn man wegschaut, weil er keine Vorhersage ist, sondern ein Objekt. Man kann um das Ergebnis herumfliegen, in eine Ecke laufen, die das Modell nie gerendert hat, und die Szene hält. Das Modell muss nur wieder laufen, wenn man neue Inhalte hinzufügt.

Viggles Vergleichsziel ist Marble von World Labs, das die Launch-Seite mit etwa sechs Minuten pro Szene misst, gegen eine Sekunde bei JST-2. Dieser Abstand ist kein Unterschied im Tuning, sondern Feed-Forward-Generierung gegen Optimierung pro Szene. Viggles Modell erzeugt die 3D-Repräsentation direkt in einem Durchlauf, statt eine Szene im Nachhinein anzupassen.

{{INLINE1}}

Das Kontextfenster ist ein Ort, kein Dokument

JST-2 nimmt bis zu 64 Eingabeansichten als räumliches Kontextfenster. Für ein 3D-Modell ist das eine seltsame Formulierung, aber sie beschreibt die Interaktion gut: Man erweitert eine Welt Ansicht für Ansicht, und jede neue Ansicht wird Teil des Kontexts für alles Folgende.

So funktioniert die Demo. Im Launch-Film von Viggle hebt ein Roboter in einem Wohnzimmer eine Kiste auf. Getippte Anweisungen fügen eine Frau hinzu, dann einen Vater und ein Kind, dann schicken sie den Roboter durch den Raum, um dem Kind die Kiste zu geben. Die Kamera wechselt zwischen dem Raum und der eigenen Sicht des Roboters. Nichts in dieser Sequenz verlangte, die Szene von Grund auf neu laufen zu lassen.

Vierundsechzig Ansichten sind ein bescheidenes Budget für eine große Umgebung, und genau diese Zahl sollte man beobachten. Räumliche Kontextfenster verhalten sich wie Text-Kontextfenster: Die erste Version ist beeindruckend, die zweite verändert, was Menschen bauen.

Rigging ist der Punkt, an dem es kommerziell interessant wird

Die Charakterfunktion ist der Teil mit dem kürzesten Weg zum Geld. JST-2 macht aus einem einzelnen Bild oder einer Textbeschreibung einen 3D-Charakter, der sofort animierbar ist. Kein separater Rigging-Schritt. Kein Skinning-Durchgang, in dem ein Artist ein digitales Skelett setzt und Gewichte malt.

Der Mechanismus steckt in der Token-Repräsentation. Laut Viggle kodieren die Dynamikvektoren in den Physics-Native Tokens, wie sich jeder Teil eines Charakters unter verschiedenen Bewegungen verformt. Diese Dynamik wird aus Daten gelernt. Das Modell liefert also kein Mesh und hofft, dass man es später riggt, sondern ein Mesh plus ein Verformungsmodell.

Viggle hat blinde menschliche Bewertungen gegen Meshy 7.1 und Tripo H3.1 durchgeführt. JST-2 lag bei der Charaktergenerierung in beiden Fällen vorn, mit dem größten Vorsprung bei Gesichtsdetails, also genau dem, was zwischen einer 2D-Referenz und einem 3D-Ergebnis am häufigsten verloren geht. Auch bei der Animationsbereitschaft lag es vorn, besonders bei Handartikulation und der Verformung von Körper und Kleidung in Bewegung.

Viggle ist offen bei den Schwächen: komplexe Kleidungsverformung und Haarbewegung stehen als Arbeit für kommende Releases auf der Liste. Wer je einen generierten Umhang durch ein generiertes Bein hat schneiden sehen, erkennt darin die ehrliche Antwort und keine Marketing-Auslassung.

Motion Capture ohne Anzug

JST-2 macht außerdem Ganzkörperbewegung aus Text oder aus einem Video einer echten Performance, also markerloses Motion Capture unter anderem Namen. Die Beispiele auf der Launch-Seite sind gewöhnliche Aktionen: Ausweichen und Ducken, Vorwärtsrolle, Frontkick, Hip-Hop-Groove, Pirouette, Robotertanz, Boxen, ein suchender Gang, durch eine Tür gehen, Zähneputzen, schnelles Tippen, nach vorn zeigen.

Nichts davon ist für einen Menschen schwer. Alles davon ist für ein Rig schwer, weil Gewichtsverlagerung, Kontakt und Wiederaufrichten dazugehören. Sie von einem Handyvideo in ein retargetbares Skelett zu bringen, ist genau der Schritt, für den die meisten kleinen Studios heute einen Animator bezahlen.

Wo die Physik noch gefälscht ist

Hier ist die Linie, die man festhalten sollte. Viggles eigene Unterlagen sagen, dass JST-2 für Kollisionen und Objektinteraktionen noch programmierte Physikregeln verwendet. Das nächste Modell, JST-3, wird entwickelt, um diese Interaktionen aus Daten zu lernen, statt sie von einem Menschen schreiben zu lassen.

„Physik-nativ“ beschreibt also die Repräsentation, nicht eine gelöste Simulation. Das Modell weiß, wo Dinge sind und wie sie sich bewegen; es weiß noch nicht, was passiert, wenn zwei davon sich denselben Raum streitig machen. Das ist der Unterschied zwischen einer Welt, die man erkunden kann, und einer Welt, in der man einen Roboter testen kann, und Viggle sagt ausdrücklich, dass Robotertraining das Ziel ist und nicht der aktuelle Stand.

Viggle hat gesagt, das Ziel für JST-3 sei ein vollständiger Weltsimulator, der unter einer Game-Engine sitzen oder als Trainingsgelände für physische Intelligenz dienen könnte. Das ist eine große Behauptung ohne Liefertermin. Was heute existiert, ist ein schneller Szenengenerator mit ungewöhnlich guter Charakterausgabe.

Was man diese Woche tatsächlich damit machen kann

JST-2 lässt sich kostenlos in PINOC ausprobieren, Viggles Browser-App für 3D-Charaktere und Motion. Der Free-Plan enthält 60 Credits, einmalig, was laut Unternehmen etwa einer Minute Motion oder bis zu zwölf Image-to-3D-Charakteren entspricht, plus einem Motion-Export und einem Charakter-Export. Credits werden im Free-Tier nicht aufgefüllt, und Aufladen ist dort nicht möglich.

Die bezahlten Stufen beginnen bei etwa 10.39 $ pro Monat bei jährlicher Abrechnung für 300 Credits, und die Lizenz zählt: Ergebnisse aus dem Free-Tier sind auf persönliche Projekte, Evaluierung und Prototyping beschränkt. Kundenarbeit oder alles Monetarisierte braucht Starter oder Pro. Exporte kommen als FBX oder GLB, also können Blender, Unity oder Unreal sie öffnen.

Wer die Behauptung günstig prüfen will, für den ist die billigste Reihenfolge: ein Bild, eine kurze Bewegung, ein Export. Motion kostet ein Credit pro Sekunde, ein Fünf-Sekunden-Clip also fünf Credits. Zwölf Ideen passen in eine kostenlose Minute, wenn man sie kurz hält, und im Kurzen zeigt sich auch, ob die Behauptung zur Handartikulation hält oder auseinanderfällt.

Die eigentliche Verschiebung

Was sich hier wirklich ändert, ist nicht die Geschwindigkeit. Es ist, dass Asset und Animation jetzt zusammen ankommen. Zwanzig Jahre lang hieß die Pipeline: Modell, dann Rig, dann Animation, und jeder Pfeil war ein anderer Mensch mit einem anderen Dateiformat.

Die ersten beiden Pfeile zusammenzulegen entfernt nicht den Animator. Es entfernt den Teil der Arbeit, der überwiegend Buchhaltung war, und es macht die Kosten einer schlechten Idee nahezu null. Genau dann ändert sich meistens ein Format, nicht wenn die Ausgabe hübscher wird.