3D ist, wo die Pipeline noch bricht: TRELLIS.2 und die O-Voxel-Wette

Das Asset, über das niemand spricht

Bildgenerierung bekommt die Aufmerksamkeit, Videogenerierung die Demo-Reels, und 3D sitzt in der Ecke und ist der Grund, warum in der Pipeline immer noch ein Mensch steckt. Wer schon mal versucht hat, ein generiertes Objekt in eine Game-Engine, einen Produktkonfigurator oder eine VFX-Einstellung zu bringen, kennt den Fehlermodus: Das Bild sieht gut aus, die Datei ist unbrauchbar.

TRELLIS.2, das 4B-Parameter-Modell von Microsoft Research für Image-to-3D, setzt auf der Ebene der Repräsentation an, nicht beim Rendering. Diesen Monat steht es auf der Trending-Seite von GitHub, bei rund 11,000 Stars, und es taucht immer wieder auf, weil es einer der wenigen 3D-Generatoren ist, deren Output ein Downstream-Tool tatsächlich annimmt.

Was O-Voxel ändert

Die meisten Image-to-3D-Systeme sagen ein implizites Feld voraus, eine Signed Distance Function oder ein Occupancy Grid, und extrahieren daraus mit Marching Cubes eine Oberfläche. Das ist elegant und hat eine konkrete Schwäche: Es unterstellt, das Objekt sei ein geschlossener, wasserdichter Klumpen. Kleidung mit sichtbarem Innenleben, Blätter, dünne Schalen, Geometrie, die sich selbst berührt, alles mit einer eingeschlossenen Höhlung wird bei der Extraktion gemittelt oder geht verloren.

TRELLIS.2 ersetzt das Feld durch eine sparse Voxelstruktur namens O-Voxel, beschrieben als field-free. Statt zu fragen, wie weit die Oberfläche von diesem Punkt entfernt ist, wird die Struktur direkt repräsentiert. Offene Flächen, nicht-manifold Geometrie und innenliegende Hohlräume bleiben erhalten, ohne verlustbehafteten Konvertierungsschritt.

Klingt nach einem Forschungsdetail. Es ist der Unterschied zwischen einer Jacke, die korrekt rendert, und einer Jacke, die wie ein massiver Klumpen mit aufgedruckter Textur aussieht.

Der Rest des Stacks ist konventionell, so als wäre Praktikabilität ein Ziel gewesen. Ein sparse 3D-VAE mit 16× räumlichem Downsampling komprimiert Assets in einen kompakten Latent Space, die Generierung läuft über gewöhnliche Diffusion Transformers statt über eine Sonderarchitektur. Auflösung und Zeit auf einer H100: 512³ in etwa drei Sekunden, 1024³ in etwa siebzehn, 1536³ in etwa einer Minute.

Materialien sind der Teil, der den Tag rettet

Das wichtigste Feature ist PBR. TRELLIS.2 sagt nicht nur eine Farbtextur voraus. Es modelliert Base Color, Roughness, Metallic und Opacity als getrennte Kanäle, das Ergebnis rendert also unter neuem Licht korrekt und sieht nicht nur aus dem Winkel gut aus, aus dem es generiert wurde.

Genau hier bricht die meiste 3D-Generierung in der Produktion auseinander. Ein Mesh mit gebackener Farbtextur wirkt im Viewer beeindruckend und fällt in sich zusammen, sobald jemand ein anderes Licht draufsetzt oder die Kamera bewegt. Ein Mesh mit Roughness- und Metallic-Maps verhält sich wie ein Objekt. Transparenz ist ein kleinerer, aber genauso praktischer Gewinn: Glas, Blätter und Stoff mit Löchern sind keine Sonderfälle mehr.

Auch die Verarbeitung ist ungewöhnlich leicht. Ein texturiertes Mesh in O-Voxel umzuwandeln dauert auf einer einzelnen CPU unter zehn Sekunden; zurück sind es unter hundert Millisekunden auf CUDA. Keine Optimierungsschleife, kein Cleanup pro Asset. Wer je auf einen Texture-Bake-Job gewartet hat, liest diesen Absatz wie ein Versprechen.

Wo es in eine echte Pipeline passt

Der realistischste Einsatz heute ist nicht, das Hero-Asset zu generieren. Es ist, den Raum drumherum zu füllen. Ein Produktshot braucht ein Regal, einen Tisch, ein Kabel, eine Kiste auf dem Boden. Diese Props sind einzeln langweilig und in Summe teuer, weil jedes ein Modelling-Job ist, der einen Artist einen Nachmittag kostet.

Image-to-3D auf diesem Qualitätsniveau macht aus einem Nachmittag ein paar Minuten plus einen Cleanup-Durchgang. Jemand muss noch Scale prüfen, den Origin fixen und die Topologie dort aufräumen, wo die Oberfläche dünn geworden ist, aber der Startpunkt ist ein Mesh mit Materialien statt ein leerer Viewport. Das verschiebt die Stunden wirklich, und es ist die Art Gewinn, die nie in ein Demo-Reel kommt, weil daran für sich genommen nichts spektakulär ist.

Die Installation ist das eigentliche Gate

Jetzt der ehrliche Teil. TRELLIS.2 ist ein Research-Repo, und es verhält sich auch so.

Getestet ist es nur unter Linux. Es will eine NVIDIA GPU mit mindestens 24GB Speicher, verifiziert auf A100 und H100. Es braucht das CUDA Toolkit, empfohlen 12.4, und kompiliert beim Setup mehrere Pakete. Der Standard-Attention-Backend ist flash-attn; auf älteren Karten wie einer V100 installiert man stattdessen xformers und setzt eine Umgebungsvariable.

Die Community hat das mit ComfyUI-Nodes aufgefangen, mindestens drei Node-Packs sind im Umlauf, was zugleich Nachfrage und Warnung ist, denn sie sind nicht austauschbar, und die erste echte Entscheidung in jedem TRELLIS.2-Projekt ist die Wahl eines Packs. Windows-Nutzer mit RTX 50-Karten haben einen eigenen Schmerz: Diese GPUs wollen Treiber 570 oder neuer und CUDA 12.8 oder 13, was mehrere Abhängigkeiten bricht, die für CUDA 12.6 und darunter gebaut sind.

Unter 24GB ist man nicht ausgesperrt, aber im Kompromissbereich. Quantisierte Builds laufen mit 512 Auflösung auf 8GB-Karten, auf einer RTX 3060 etwa drei bis sechs Minuten pro Mesh. Das ist brauchbare Prototyping-Geschwindigkeit und schmerzhafte Produktionsgeschwindigkeit. Die Lücke zwischen ich kann das testen und ich kann das ausliefern wird in VRAM gemessen.

Es gibt noch einen kleinen Export-Stolperstein, den man kennen sollte, bevor man einen Bug meldet: GLB-Dateien werden mit Alpha-Modus OPAQUE exportiert, Viewer ignorieren also die Transparenz, die man generiert hat. Der Fix ist eine Zeile in der Post-Processing-Config oder ein erneutes Verbinden des Alpha-Kanals in Blender. Die Daten sind da. Der Exporter nutzt sie nur nicht standardmäßig.

Warum 3D der eigentliche Engpass ist

Schau, wo KI Produktionsworkflows messbar verändert hat und wo nicht. Concept Art: verändert. Storyboards: verändert. Produktfotografie: verändert. 3D-Assets: weitgehend unverändert, weil das Deliverable kein Bild ist. Es ist eine Datei mit Topologie, UVs, Materialien, Scale und einem Origin, dem ein anderes Programm zustimmen muss.

Das ist ein viel strengerer Vertrag als sieht gut aus. Eine Textur, die zu 95% stimmt, ist eine brauchbare Textur. Ein Mesh, das zu 95% stimmt, ist ein Mesh, das nicht schließt, kein Boolean zulässt und sich nicht riggen lässt.

TRELLIS.2 wettet darauf, dass man diesen Vertrag erfüllt, indem man die Struktur nativ modelliert statt sie aus einem Feld anzunähern. Ob O-Voxel Standard wird oder ein Research-Artefakt bleibt, hängt an Dingen, die nichts mit dem Paper zu tun haben: Export-Tooling, Engine-Plugins und ob sich das Ökosystem auf einen Satz ComfyUI-Nodes einigt.

Klar ist schon die Richtung. Die nützliche 3D-Arbeit dieses Jahres dreht sich nicht um schönere Previews. Sie dreht sich um Output, der den Kontakt mit dem nächsten Programm in der Kette übersteht. Das ist ein weniger fotogenes Ziel, und es entscheidet, ob der Mensch im Loop bleibt.