La 3D è dove la pipeline si rompe ancora: TRELLIS.2 e la scommessa O-Voxel

L'asset di cui nessuno parla

La generazione di immagini si prende l'attenzione, quella di video fornisce i reel di demo, e la 3D resta in un angolo, ed è il motivo per cui nella pipeline c'è ancora una persona dentro. Se hai mai provato a mettere un oggetto generato in un motore di gioco, in un configuratore di prodotto o in una ripresa VFX, conosci il modo in cui fallisce: l'immagine è a posto, il file è inutile.

TRELLIS.2, il modello image-to-3D da 4B parametri di Microsoft Research, prova a sistemare la cosa a livello di rappresentazione invece che di rendering. È sulla pagina trending di GitHub da tutto il mese, intorno agli 11,000 stelle, e continua a saltare fuori perché è uno dei pochi generatori 3D il cui output un tool a valle accetta davvero.

Cosa cambia O-Voxel

La maggior parte dei sistemi image-to-3D predice un campo implicito, una signed distance function o una occupancy grid, e poi ne estrae una superficie con marching cubes. L'approccio è elegante e ha un punto debole preciso: assume che l'oggetto sia un blocco chiuso e watertight. Vestiti con l'interno visibile, foglie, gusci sottili, geometrie che toccano se stesse, qualsiasi cosa con una cavità chiusa, tutto viene mediato o perso in estrazione.

TRELLIS.2 sostituisce il campo con una struttura a voxel sparsi che chiama O-Voxel, descritta come field-free. Invece di chiedere a che distanza è la superficie, rappresenta la struttura direttamente, e così tiene superfici aperte, geometria non-manifold e strutture interne chiuse senza un passaggio di conversione lossy.

Sembra un dettaglio di ricerca. È la differenza tra una giacca che renderizza bene e una giacca che sembra un blocco pieno con una texture stampata sopra.

Il resto dello stack è convenzionale, come se la praticità fosse un obiettivo. Un VAE 3D sparso con downsampling spaziale 16× comprime gli asset in uno spazio latente compatto, e la generazione passa da normali diffusion transformer invece che da un'architettura custom. Risoluzione e tempi su una H100: 512³ in circa tre secondi, 1024³ in circa diciassette, 1536³ in circa un minuto.

I materiali sono la parte che salva la giornata

La feature che conta di più è il PBR. TRELLIS.2 non predice solo una texture di colore. Modella base color, roughness, metallic e opacity come canali separati, quindi il risultato renderizza correttamente sotto una luce nuova invece di essere giusto solo dall'angolo da cui è stato generato.

È qui che la maggior parte della generazione 3D crolla in produzione. Una mesh con la texture di colore cotta sembra impressionante nel viewer e va a pezzi nel momento in cui qualcuno mette un'altra luce o muove la camera. Una mesh con mappe di roughness e metallic si comporta come un oggetto. Il supporto alla trasparenza è una vittoria più piccola ma altrettanto pratica: vetro, foglie e tessuti bucati smettono di essere casi speciali.

Anche la pipeline di elaborazione è insolitamente leggera. Convertire una mesh texturizzata in O-Voxel richiede meno di dieci secondi su una singola CPU; tornare indietro meno di cento millisecondi su CUDA. Nessun loop di ottimizzazione, nessuna pulizia per asset. Per chi ha aspettato un job di texture baking, quel paragrafo suona come una promessa.

Dove si incastra in una pipeline vera

L'uso più realistico oggi non è generare l'asset protagonista. È riempire lo spazio intorno. Uno scatto di prodotto ha bisogno di uno scaffale, di un tavolo, di un cavo, di una scatola per terra. Quei props sono noiosi uno per uno e costosi nel complesso, perché ognuno è un lavoro di modellazione che costa un pomeriggio a un artist.

L'image-to-3D a questo livello di qualità trasforma un pomeriggio in qualche minuto più un passaggio di pulizia. Serve ancora qualcuno che controlli la scala, sistemi l'origine e ripulisca la topologia dove la superficie si è assottigliata, ma il punto di partenza è una mesh con i materiali invece di un viewport vuoto. È un vero spostamento di dove finiscono le ore, ed è il tipo di guadagno che non arriva mai in un reel di demo perché da solo non ha niente di spettacolare.

L'installazione è il vero cancello

Ora la parte onesta. TRELLIS.2 è un repository di ricerca, e si comporta come tale.

È testato solo su Linux. Vuole una GPU NVIDIA con almeno 24GB di memoria, con il codice verificato su A100 e H100. Richiede il CUDA Toolkit, consigliato 12.4, e compila diversi pacchetti durante il setup. Il backend di attention predefinito è flash-attn; su schede più vecchie come una V100 si installa xformers e si imposta una variabile d'ambiente.

La community ha coperto il buco con i nodi ComfyUI, e circolano almeno tre pacchetti di nodi, che è insieme segnale di domanda e avvertimento: non sono intercambiabili, e la prima vera decisione in qualsiasi progetto TRELLIS.2 è sceglierne uno. Gli utenti Windows con schede RTX 50 hanno un dolore tutto loro: quelle GPU vogliono il driver 570 o più recente e CUDA 12.8 o 13, il che rompe diverse dipendenze compilate per CUDA 12.6 e precedenti.

Sotto i 24GB non sei bloccato fuori, ma sei nel territorio dei compromessi. Le build quantizzate girano a 512 di risoluzione su schede da 8GB, più o meno tre-sei minuti per mesh su una RTX 3060. È una velocità di prototipazione usabile e una velocità di produzione dolorosa. La distanza tra posso provarlo e posso consegnarlo si misura in VRAM.

C'è anche una piccola trappola in export da conoscere prima di aprire una issue: i file GLB vengono esportati con l'alpha mode impostato su OPAQUE, quindi i viewer ignorano la trasparenza che hai generato. Il fix è una riga nella config di post-processing, oppure ricollegare il canale alpha in Blender. I dati ci sono. È l'exporter che non li usa di default.

Perché la 3D è il vero collo di bottiglia

Guarda dove l'AI ha cambiato in modo misurabile i workflow di produzione e dove no. Concept art: cambiata. Storyboard: cambiati. Fotografia di prodotto: cambiata. Asset 3D: più o meno uguali, perché il deliverable non è un'immagine. È un file con topologia, UV, materiali, scala e un'origine su cui un altro programma deve essere d'accordo.

È un contratto molto più severo di sembra bello. Una texture giusta al 95% è una texture usabile. Una mesh giusta al 95% è una mesh che non chiude, non fa boolean e non si può riggare.

La scommessa di TRELLIS.2 è che per rispettare quel contratto bisogna modellare la struttura in modo nativo invece di approssimarla da un campo. Se O-Voxel diventerà uno standard o resterà un artefatto di ricerca dipende da cose che non hanno niente a che vedere con il paper: tool di export, plugin per i motori, e se l'ecosistema convergerà su un solo set di nodi ComfyUI.

La direzione, comunque, è già chiara. Il lavoro 3D utile di quest'anno non riguarda preview più belle. Riguarda output che sopravvivono al contatto con il programma successivo nella catena. È un obiettivo meno fotogenico, ed è quello che decide se la persona resta nel loop.