3D야말로 파이프라인이 끊기는 지점: TRELLIS.2와 O-Voxel의 베팅

아무도 말하지 않는 에셋

이미지 생성이 관심을 가져가고, 영상 생성이 데모 릴을 만들고, 3D는 구석에 앉아 파이프라인에 아직 사람이 남아 있는 이유가 된다. 생성된 오브젝트를 게임 엔진, 제품 컨피규레이터, VFX 컷에 넣어 본 적이 있다면 그 실패 방식이 익숙할 것이다. 그림은 멀쩡한데 파일은 쓸모없다.

Microsoft Research의 4B 파라미터 image-to-3D 모델인 TRELLIS.2는 렌더링 단계가 아니라 표현 단계에서 그걸 고치려 한다. 이번 달 내내 GitHub 트렌딩에 올라 있었고 스타는 약 11,000개. 계속 다시 소환되는 이유는 다운스트림 도구가 실제로 받아 주는 몇 안 되는 3D 생성기이기 때문이다.

O-Voxel이 바꾼 것

대부분의 image-to-3D 시스템은 암시적 필드, SDF나 occupancy grid를 예측한 뒤 marching cubes로 표면을 뽑는다. 우아하지만 구체적인 약점이 있다. 물체가 닫힌 워터타이트 덩어리라고 가정한다. 안감이 보이는 옷, 잎, 얇은 껍질, 스스로 닿는 지오메트리, 닫힌 공동이 있는 모든 것은 추출 과정에서 평균화되거나 사라진다.

TRELLIS.2는 그 필드를 O-Voxel이라 부르는 희소 복셀 구조로 바꾼다. field-free라고 설명된다. 표면이 이 점에서 얼마나 떨어져 있는지를 묻는 대신 구조를 직접 표현한다. 그래서 열린 표면, 비다양체 지오메트리, 내부의 닫힌 구조가 손실 변환 없이 남는다.

연구 디테일처럼 들린다. 재킷이 제대로 렌더링되는 것과, 텍스처를 인쇄한 단단한 덩어리처럼 보이는 것의 차이다.

나머지 스택은 오히려 평범해서 실용성이 목표였음이 보인다. 16× 공간 다운샘플링을 쓰는 희소 3D VAE가 에셋을 압축된 잠재 공간으로 밀어 넣고, 생성은 커스텀 아키텍처가 아니라 평범한 diffusion transformer로 돈다. H100에서 해상도와 시간은 512³가 약 3초, 1024³가 약 17초, 1536³가 약 1분.

재질이 판을 살리는 부분

가장 중요한 기능은 PBR이다. TRELLIS.2는 컬러 텍스처만 예측하지 않는다. 베이스 컬러, 러프니스, 메탈릭, 불투명도를 별도 채널로 모델링한다. 그래서 결과물은 생성된 각도에서만 그럴듯한 게 아니라 새로운 조명 아래서도 제대로 렌더링된다.

대부분의 3D 생성이 실무에서 무너지는 지점이 여기다. 컬러 텍스처를 베이크한 메시는 뷰어에서는 인상적이지만, 누군가 다른 조명을 걸거나 카메라를 움직이는 순간 조각난다. 러프니스와 메탈릭 맵이 있는 메시는 물체처럼 행동한다. 투명도 지원은 더 작지만 똑같이 실용적인 이득이다. 유리, 잎, 구멍 난 천이 더 이상 예외 사례가 아니다.

처리 파이프라인도 이상하리만치 가볍다. 텍스처가 있는 메시를 O-Voxel로 바꾸는 데 CPU 한 개로 10초가 안 걸리고, 되돌리는 데 CUDA에서 100밀리초가 안 걸린다. 최적화 루프도, 에셋별 정리도 없다. 텍스처 베이크 작업을 기다려 본 사람이라면 이 문단이 약속처럼 읽힌다.

실제 파이프라인에서 들어갈 자리

오늘 가장 현실적인 용도는 주인공 에셋을 생성하는 게 아니다. 주인공 주변을 채우는 일이다. 제품 사진에는 선반, 테이블, 케이블, 바닥의 상자가 필요하다. 이런 소품은 하나하나는 지루하고 모아 놓으면 비싸다. 각각이 아티스트의 오후를 잡아먹는 모델링 작업이기 때문이다.

이 품질의 image-to-3D는 오후를 몇 분에 정리 한 번으로 바꾼다. 여전히 누군가 스케일을 확인하고, 원점을 고치고, 표면이 얇아진 곳의 토폴로지를 정리해야 한다. 하지만 출발점은 빈 뷰포트가 아니라 재질이 붙은 메시다. 시간이 어디로 가는지가 실제로 달라진다. 그리고 스스로는 전혀 화려하지 않아서 데모 릴에는 절대 들어가지 않는 종류의 개선이다.

설치는 진짜 관문이다

이제 솔직한 부분. TRELLIS.2는 연구 저장소이고, 행동도 그렇다.

Linux에서만 테스트됐다. 최소 24GB 메모리의 NVIDIA GPU를 요구하고, 코드는 A100과 H100에서 검증됐다. CUDA Toolkit이 필요하고 12.4를 권장하며, 설정 중에 여러 패키지를 컴파일한다. 기본 어텐션 백엔드는 flash-attn이다. V100 같은 구형 카드에서는 대신 xformers를 설치하고 환경 변수를 설정한다.

커뮤니티가 ComfyUI 노드로 이 구멍을 메웠고, 적어도 세 개의 노드 팩이 돌고 있다. 수요의 신호이자 경고다. 서로 호환되지 않으니까, 어떤 TRELLIS.2 프로젝트든 첫 번째 진짜 결정은 어느 것을 고르느냐다. RTX 50 시리즈를 쓰는 Windows 사용자에게는 특유의 고통이 있다. 그 GPU들은 드라이버 570 이상과 CUDA 12.8 또는 13을 원하고, 이는 CUDA 12.6 이하용으로 빌드된 여러 의존성을 깨뜨린다.

24GB 아래라고 해서 잠기지는 않지만 타협 영역이다. 양자화 빌드는 8GB 카드에서 512 해상도로 돌고, RTX 3060에서는 메시당 대략 3~6분 걸린다. 쓸 만한 프로토타이핑 속도이고 고통스러운 제작 속도다. 해볼 수 있다와 납품할 수 있다의 간격은 VRAM으로 측정된다.

버그를 올리기 전에 알아 둘 작은 내보내기 함정도 있다. GLB 파일은 알파 모드가 OPAQUE로 설정되어 내보내지므로, 뷰어가 생성한 투명도를 무시한다. 고치는 방법은 후처리 설정에서 한 줄을 바꾸거나 Blender에서 알파 채널을 다시 연결하는 것이다. 데이터는 거기 있다. 내보내기가 기본으로 쓰지 않을 뿐이다.

왜 3D가 진짜 병목인가

AI가 제작 워크플로를 측정 가능하게 바꾼 곳과 그렇지 않은 곳을 보라. 콘셉트 아트는 바뀌었다. 스토리보드는 바뀌었다. 제품 사진은 바뀌었다. 3D 에셋은 거의 그대로다. 산출물이 그림이 아니기 때문이다. 토폴로지, UV, 재질, 스케일, 그리고 다른 프로그램이 동의해야 하는 원점을 가진 파일이다.

보기 좋다보다 훨씬 엄격한 계약이다. 95% 맞는 텍스처는 쓸 수 있는 텍스처다. 95% 맞는 메시는 닫히지 않고, 불리언이 안 되고, 리깅이 안 되는 메시다.

TRELLIS.2의 베팅은 그 계약을 만족하는 방법이 필드에서 근사하는 것이 아니라 구조를 원래대로 모델링하는 것이라는 데 있다. O-Voxel이 표준이 될지 연구 산출물로 남을지는 논문과 무관한 것에 달려 있다. 내보내기 도구, 엔진 플러그인, 그리고 생태계가 한 세트의 ComfyUI 노드로 수렴하는지.

방향만은 이미 분명하다. 올해 쓸모 있는 3D 작업은 더 예쁜 미리보기에 관한 게 아니다. 체인의 다음 프로그램과 접촉해도 살아남는 출력에 관한 것이다. 사진발이 안 좋은 목표지만, 사람이 루프에 남느냐를 결정하는 것도 이것이다.