A 3D é onde o pipeline ainda quebra: TRELLIS.2 e a aposta no O-Voxel

O asset de que ninguém fala

Geração de imagem leva a atenção, geração de vídeo entrega os reels de demo, e a 3D fica num canto sendo o motivo pelo qual o pipeline ainda tem uma pessoa dentro. Se você já tentou colocar um objeto gerado num game engine, num configurador de produto ou num plano de VFX, conhece o modo de falha: a imagem está boa e o arquivo é inútil.

TRELLIS.2, o modelo image-to-3D de 4B parâmetros da Microsoft Research, tenta resolver isso na camada de representação, não na de render. Está na página de trending do GitHub o mês inteiro, com cerca de 11,000 estrelas, e volta a aparecer porque é um dos poucos geradores 3D cuja saída uma ferramenta posterior realmente aceita.

O que o O-Voxel muda

A maioria dos sistemas image-to-3D prevê um campo implícito, uma signed distance function ou um occupancy grid, e depois extrai uma superfície com marching cubes. A abordagem é elegante e tem uma fraqueza concreta: assume que o objeto é um bloco fechado, watertight. Roupa com o interior à vista, folhas, cascas finas, geometria que encosta nela mesma, qualquer coisa com cavidade fechada, tudo isso é suavizado ou perdido na extração.

O TRELLIS.2 troca o campo por uma estrutura de voxels esparsa chamada O-Voxel, descrita como field-free. Em vez de perguntar a que distância está a superfície, ele representa a estrutura diretamente, e assim mantém superfícies abertas, geometria non-manifold e estruturas internas fechadas sem uma etapa de conversão com perda.

Parece detalhe de pesquisa. É a diferença entre uma jaqueta que renderiza certo e uma jaqueta que parece um bloco maciço com uma textura impressa em cima.

O resto do stack é convencional, como se praticidade fosse um objetivo. Um VAE 3D esparso com downsampling espacial de 16× comprime os assets num espaço latente compacto, e a geração roda em diffusion transformers comuns em vez de uma arquitetura própria. Resolução e tempo numa H100: 512³ em cerca de três segundos, 1024³ em cerca de dezessete, 1536³ em cerca de um minuto.

Os materiais são a parte que salva o dia

O recurso que mais importa é o PBR. O TRELLIS.2 não prevê só uma textura de cor. Ele modela cor base, rugosidade, metalicidade e opacidade como canais separados, então o resultado renderiza certo sob uma iluminação nova em vez de ficar bom só no ângulo em que foi gerado.

É aqui que a maior parte da geração 3D desmorona em produção. Uma malha com textura de cor baked impressiona no viewer e se desfaz no instante em que alguém joga outra luz ou mexe na câmera. Uma malha com mapas de rugosidade e metalicidade se comporta como um objeto. O suporte a transparência é uma vitória menor, mas igualmente prática: vidro, folhas e tecido com furos deixam de ser casos especiais.

O pipeline de processamento também é surpreendentemente leve. Converter uma malha com textura em O-Voxel leva menos de dez segundos numa única CPU; voltar leva menos de cem milissegundos em CUDA. Sem loop de otimização, sem limpeza por asset. Para quem já esperou um job de texture baking, esse parágrafo soa como promessa.

Onde ele encaixa num pipeline de verdade

O uso mais realista hoje não é gerar o asset principal. É preencher o espaço em volta dele. Uma foto de produto precisa de uma prateleira, uma mesa, um cabo, uma caixa no chão. Esses props são chatos individualmente e caros no conjunto, porque cada um é um trabalho de modelagem que custa uma tarde de um artista.

O image-to-3D nesse nível de qualidade transforma uma tarde em alguns minutos mais uma passada de limpeza. Ainda precisa de alguém para conferir escala, corrigir a origem e arrumar a topologia onde a superfície ficou fina, mas o ponto de partida é uma malha com materiais em vez de um viewport vazio. É uma mudança real em onde as horas vão, e é o tipo de ganho que nunca entra num reel de demo porque não tem nada de espetacular sozinho.

A instalação é o portão de verdade

Agora a parte honesta. O TRELLIS.2 é um repositório de pesquisa, e se comporta como um.

Só foi testado em Linux. Pede uma GPU NVIDIA com pelo menos 24GB de memória, com o código verificado em A100 e H100. Precisa do CUDA Toolkit, recomenda 12.4, e compila vários pacotes durante o setup. O backend de atenção padrão é o flash-attn; em placas mais antigas como a V100 você instala xformers e define uma variável de ambiente.

A comunidade cobriu o buraco com nodes de ComfyUI, e circulam pelo menos três packs de nodes, o que é sinal de demanda e aviso ao mesmo tempo: eles não são intercambiáveis, e a primeira decisão real de qualquer projeto com TRELLIS.2 é escolher um. Usuários de Windows com placas RTX 50 têm uma dor específica: essas GPUs querem driver 570 ou mais novo e CUDA 12.8 ou 13, o que quebra várias dependências compiladas para CUDA 12.6 e anteriores.

Abaixo de 24GB você não está trancado do lado de fora, mas está no território do compromisso. Builds quantizadas rodam em 512 de resolução em placas de 8GB, mais ou menos três a seis minutos por malha numa RTX 3060. É uma velocidade de prototipagem usável e uma velocidade de produção dolorosa. A distância entre dá para testar e dá para entregar é medida em VRAM.

Tem também uma pegadinha de exportação que vale conhecer antes de abrir uma issue: os arquivos GLB são exportados com o alpha mode em OPAQUE, então os viewers ignoram a transparência que você gerou. O conserto é uma linha na config de pós-processamento, ou reconectar o canal alpha no Blender. Os dados estão lá. É o exportador que não usa por padrão.

Por que a 3D é o gargalo de verdade

Olhe onde a IA mudou de forma mensurável os fluxos de produção e onde não mudou. Concept art: mudou. Storyboards: mudaram. Fotografia de produto: mudou. Assets 3D: praticamente iguais, porque o entregável não é uma imagem. É um arquivo com topologia, UVs, materiais, escala e uma origem com a qual outro programa precisa concordar.

É um contrato bem mais rígido do que parece bom. Uma textura 95% certa é uma textura usável. Uma malha 95% certa é uma malha que não fecha, não faz boolean e não recebe rig.

A aposta do TRELLIS.2 é que o jeito de cumprir esse contrato é modelar a estrutura nativamente em vez de aproximá-la a partir de um campo. Se o O-Voxel vira padrão ou continua um artefato de pesquisa depende de coisas que não têm nada a ver com o paper: ferramentas de exportação, plugins de engine e se o ecossistema converge para um único conjunto de nodes de ComfyUI.

O que já está claro é a direção. O trabalho 3D útil deste ano não é sobre previews mais bonitos. É sobre saída que sobrevive ao contato com o próximo programa da cadeia. É uma meta menos fotogênica, e é ela que decide se a pessoa continua no loop.