3Dこそパイプラインが壊れる場所：TRELLIS.2とO-Voxelの賭け

誰も語らないアセット

画像生成が注目を集め、動画生成がデモリールを供給し、3Dは隅っこで、パイプラインにまだ人間が残っている理由になっている。生成したオブジェクトをゲームエンジンや製品コンフィギュレーター、VFXカットに持ち込もうとした人なら、あの失敗の形を知っているはずだ。絵はきれいなのに、ファイルが使い物にならない。

Microsoft Researchの4Bパラメータのimage-to-3Dモデル、TRELLIS.2は、レンダリング側ではなく表現の側でそれを直そうとしている。今月はずっとGitHubのトレンドに載っていて、スターはおよそ11,000。何度も掘り返されるのは、下流のツールが実際に受け取ってくれる数少ない3D生成器だからだ。

O-Voxelが変えたもの

ほとんどのimage-to-3Dは暗黙場、SDFかoccupancy gridを予測し、marching cubesで表面を抜き出す。エレガントだが、はっきりした弱点がある。物体が閉じたウォータータイトな塊だという前提だ。内側が見える服、葉、薄いシェル、自分自身に触れるジオメトリ、閉じた空洞を持つものは、抽出の時点で平均化されるか消える。

TRELLIS.2はその場をO-Voxelと呼ぶスパースボクセル構造に置き換える。field-freeと説明されている。表面がこの点からどれだけ離れているかを問う代わりに、構造を直接表現する。だから開いた面、非多様体ジオメトリ、内部の閉じた構造が、損失のある変換を挟まずに残る。

研究上の些細な話に聞こえる。だがこれは、正しくレンダリングされるジャケットと、テクスチャを印刷した塊に見えるジャケットの違いだ。

残りのスタックはむしろ平凡で、実用性が目標だったことがうかがえる。16×の空間ダウンサンプリングを持つスパース3D VAEがアセットをコンパクトな潜在空間に圧縮し、生成は独自アーキテクチャではなく普通のdiffusion transformerで回る。H100での解像度と時間は、512³が約3秒、1024³が約17秒、1536³が約1分。

マテリアルが救ってくれる部分

いちばん効くのはPBRだ。TRELLIS.2はカラーテクスチャだけを予測しない。ベースカラー、ラフネス、メタリック、不透明度を別チャンネルとしてモデル化する。だから結果は、生成された角度でだけ正しく見えるのではなく、新しい照明の下でも正しくレンダリングされる。

ここで多くの3D生成が本番で崩れる。カラーテクスチャをベイクしたメッシュはビューアでは立派に見えるが、別のライトを当てた瞬間やカメラを動かした瞬間に瓦解する。ラフネスとメタリックのマップを持つメッシュは、物体として振る舞う。透明対応はもっと小さく、同じくらい実用的な勝ちで、ガラス、葉、穴のあいた布が特別扱いでなくなる。

処理パイプラインも異常に軽い。テクスチャ付きメッシュをO-Voxelに変換するのはCPU1基で10秒未満、戻すのはCUDAで100ミリ秒未満。最適化ループも、アセットごとの掃除もない。テクスチャベイクのジョブを待ったことがある人には、この段落は約束のように読める。

実際のパイプラインのどこに入るか

今いちばん現実的な使い方は主役アセットを生成することではない。主役の周りを埋めることだ。製品写真には棚が、テーブルが、ケーブルが、床の上の箱が要る。こうした小道具は単体では退屈で、まとめると高くつく。ひとつひとつがアーティストの午後を食うモデリング作業だからだ。

この品質のimage-to-3Dは、午後を数分と片付けの一巡に変える。スケールを確認し、オリジンを直し、面が薄くなったところのトポロジーを整える人は依然として必要だが、出発点は空のビューポートではなくマテリアル付きのメッシュだ。時間がどこに消えるかが実際に変わる。そして単体では何も派手でないので、デモリールには絶対に入らない種類の改善でもある。

インストールが本当の関門

ここからが正直な話だ。TRELLIS.2は研究リポジトリで、振る舞いもそうなっている。

テストされているのはLinuxだけ。24GB以上のメモリを持つNVIDIA GPUが必要で、コードはA100とH100で検証済み。CUDA Toolkitが必要で、推奨は12.4、セットアップ中にいくつかのパッケージをコンパイルする。デフォルトのattentionバックエンドはflash-attn。V100のような古いカードでは代わりにxformersを入れて環境変数を設定する。

コミュニティがComfyUIノードで埋めていて、少なくとも3つのノードパックが出回っている。需要の証拠であり警告でもある。互換性はなく、TRELLIS.2のプロジェクトで最初に下す本当の判断はどれを選ぶかだ。RTX 50シリーズのWindowsユーザーには特有の痛みがある。これらのGPUはドライバ570以降とCUDA 12.8または13を要求し、CUDA 12.6以下向けにビルドされた依存関係がいくつも壊れる。

24GBを下回っても締め出されはしないが、妥協の領域に入る。量子化ビルドは8GBカードで512解像度が動き、RTX 3060だと1メッシュあたりおよそ3〜6分。使えるプロトタイピング速度で、つらい本番速度だ。試せることと出荷できることの差はVRAMで測られる。

バグを立てる前に知っておきたい小さな書き出しの罠もある。GLBはalphaモードがOPAQUEで書き出されるので、ビューアは生成した透明を無視する。直し方はポストプロセス設定の1行か、Blenderでアルファチャンネルを繋ぎ直すこと。データはそこにある。書き出し側がデフォルトで使っていないだけだ。

なぜ3Dが本当のボトルネックなのか

AIが制作ワークフローを測定可能な形で変えた場所と、変えていない場所を見比べる。コンセプトアートは変わった。絵コンテは変わった。製品写真は変わった。3Dアセットはほぼ変わっていない。納品物が絵ではないからだ。トポロジー、UV、マテリアル、スケール、そして別のプログラムが同意しなければならないオリジンを持つファイルである。

これはよく見えるよりずっと厳しい契約だ。95%正しいテクスチャは使えるテクスチャだ。95%正しいメッシュは、閉じず、ブーリアンできず、リグを組めないメッシュだ。

TRELLIS.2の賭けは、その契約を満たす方法は場から近似することではなく、構造をネイティブにモデル化することだ、というもの。O-Voxelが標準になるか研究物のままかは、論文と無関係なものにかかっている。書き出しツール、エンジンプラグイン、そしてエコシステムが1組のComfyUIノードに収束するかどうか。

方向だけはもう明らかだ。今年意味のある3Dの仕事は、きれいなプレビューの話ではない。チェーンの次のプログラムと接触しても壊れない出力の話だ。写真映えしない目標だが、人間がループに残るかどうかを決めるのはこれだ。