La 3D es donde el pipeline aún se rompe: TRELLIS.2 y la apuesta O-Voxel

El asset del que nadie habla

La generación de imágenes se lleva la atención, la de vídeo pone los reels de demo, y la 3D se queda en un rincón siendo la razón por la que el pipeline todavía tiene a una persona dentro. Si alguna vez has intentado meter un objeto generado en un motor de juego, un configurador de producto o un plano de VFX, conoces el modo de fallo: la imagen se ve bien y el archivo no sirve para nada.

TRELLIS.2, el modelo image-to-3D de 4B parámetros de Microsoft Research, intenta arreglar eso en la capa de representación y no en la de render. Lleva todo el mes en la página de tendencias de GitHub, con unas 11,000 estrellas, y vuelve a salir porque es uno de los pocos generadores 3D cuya salida una herramienta posterior acepta de verdad.

Qué cambia O-Voxel

La mayoría de los sistemas image-to-3D predicen un campo implícito, una función de distancia con signo o una rejilla de ocupación, y luego extraen una superficie con marching cubes. El enfoque es elegante y tiene una debilidad concreta: da por hecho que el objeto es un bloque cerrado y estanco. Ropa con el interior a la vista, hojas, cáscaras finas, geometría que se toca a sí misma, cualquier cosa con una cavidad encerrada, todo eso se promedia o se pierde en la extracción.

TRELLIS.2 sustituye el campo por una estructura de vóxeles dispersa que llama O-Voxel, descrita como field-free. En vez de preguntar a qué distancia está la superficie, representa la estructura directamente, y así conserva superficies abiertas, geometría no manifold y estructuras internas cerradas sin un paso de conversión con pérdida.

Suena a detalle de investigación. Es la diferencia entre una chaqueta que se renderiza bien y una chaqueta que parece un bloque macizo con una textura impresa encima.

El resto del stack es convencional, como si la practicidad hubiera sido un objetivo. Un VAE 3D disperso con un downsample espacial de 16× comprime los assets en un espacio latente compacto, y la generación pasa por diffusion transformers normales en lugar de una arquitectura propia. Resolución y tiempo en una H100: 512³ en unos tres segundos, 1024³ en unos diecisiete, 1536³ en alrededor de un minuto.

Los materiales son la parte que salva el día

La característica que más importa es el PBR. TRELLIS.2 no se limita a predecir una textura de color. Modela color base, rugosidad, metalicidad y opacidad como canales separados, así que el resultado se renderiza bien bajo una iluminación nueva en vez de quedar bien solo desde el ángulo en que se generó.

Aquí es donde la mayoría de la generación 3D se cae en producción. Una malla con una textura de color horneada impresiona en un visor y se deshace en el momento en que alguien pone otra luz o mueve la cámara. Una malla con mapas de rugosidad y metalicidad se comporta como un objeto. El soporte de transparencia es una victoria más pequeña pero igual de práctica: el vidrio, las hojas y la tela con agujeros dejan de ser casos especiales.

El pipeline de procesamiento también es sorprendentemente ligero. Convertir una malla con textura a O-Voxel tarda menos de diez segundos en una sola CPU; volver tarda menos de cien milisegundos en CUDA. Sin bucle de optimización, sin limpieza por asset. Para quien haya esperado un trabajo de horneado de texturas, ese párrafo se lee como una promesa.

Dónde encaja en un pipeline real

El uso más realista hoy no es generar el asset protagonista. Es llenar el espacio alrededor. Una foto de producto necesita una estantería, una mesa, un cable, una caja en el suelo. Esos props son aburridos por separado y caros en conjunto, porque cada uno es un trabajo de modelado que le cuesta una tarde a un artista.

El image-to-3D con este nivel de calidad convierte una tarde en unos minutos más una pasada de limpieza. Todavía hace falta alguien que revise la escala, corrija el origen y arregle la topología donde la superficie se quedó fina, pero el punto de partida es una malla con materiales en vez de un viewport vacío. Es un cambio real en dónde se van las horas, y es el tipo de mejora que nunca acaba en un reel de demo porque no tiene nada de espectacular por sí sola.

La instalación es la verdadera barrera

Ahora la parte honesta. TRELLIS.2 es un repositorio de investigación, y se comporta como tal.

Solo está probado en Linux. Pide una GPU NVIDIA con al menos 24GB de memoria, con el código verificado en A100 y H100. Necesita el CUDA Toolkit, recomienda 12.4, y compila varios paquetes durante la instalación. El backend de atención por defecto es flash-attn; en tarjetas antiguas como una V100 se instala xformers y se define una variable de entorno.

La comunidad ha cubierto el hueco con nodos de ComfyUI, y circulan al menos tres packs de nodos, lo que es a la vez señal de demanda y aviso: no son intercambiables, y la primera decisión real de cualquier proyecto con TRELLIS.2 es elegir uno. Los usuarios de Windows con tarjetas RTX 50 tienen un dolor propio: esas GPU quieren el driver 570 o más nuevo y CUDA 12.8 o 13, lo que rompe varias dependencias compiladas para CUDA 12.6 y anteriores.

Por debajo de 24GB no estás fuera, pero estás en territorio de concesiones. Las builds cuantizadas corren a 512 de resolución en tarjetas de 8GB, a unas tres o seis minutos por malla en una RTX 3060. Es una velocidad de prototipado usable y una velocidad de producción dolorosa. La distancia entre puedo probarlo y puedo entregarlo se mide en VRAM.

También hay una pequeña trampa de exportación que conviene conocer antes de abrir un issue: los archivos GLB se exportan con el modo alfa en OPAQUE, así que los visores ignoran la transparencia que generaste. El arreglo es una línea en la configuración de postprocesado, o volver a conectar el canal alfa en Blender. Los datos están ahí. Es el exportador el que no los usa por defecto.

Por qué la 3D es el cuello de botella real

Mira dónde la IA ha cambiado de forma medible los flujos de producción y dónde no. Concept art: cambiado. Storyboards: cambiados. Fotografía de producto: cambiada. Assets 3D: prácticamente igual, porque el entregable no es una imagen. Es un archivo con topología, UVs, materiales, escala y un origen con el que otro programa tiene que estar de acuerdo.

Es un contrato mucho más estricto que se ve bien. Una textura correcta al 95% es una textura usable. Una malla correcta al 95% es una malla que no cierra, no admite booleanos y no se puede riggear.

La apuesta de TRELLIS.2 es que la forma de cumplir ese contrato es modelar la estructura de forma nativa en lugar de aproximarla desde un campo. Que O-Voxel se vuelva estándar o quede como artefacto de investigación depende de cosas que no tienen nada que ver con el paper: herramientas de exportación, plugins de motor y si el ecosistema converge en un solo conjunto de nodos de ComfyUI.

Lo que ya está claro es la dirección. El trabajo 3D útil de este año no va de previews más bonitas. Va de salidas que sobreviven al contacto con el siguiente programa de la cadena. Es un objetivo menos fotogénico, y es el que decide si la persona se queda en el bucle.