リギング不要、ViggleのJST-2は約1秒で3Dシーンを作る

Viggleは10月19日、3Dシーンをおよそ1秒で生成するモデルを公開した。推論コストは1セント未満。この2つの数字は同社のローンチページに載っているもので、NVIDIA B200上でネットワーク遅延を除いて計測した値だ。ベンダーのベンチマークはいつも通り、その程度の気持ちで読むのがいい。ただ、その数字の裏にあるアーキテクチャのほうが、数字よりずっと見る価値がある。

モデルの名前はJST-2。JSTはJoint Space-and-Time、つまり「時空間の結合」だ。Viggleはこれを物理ネイティブな世界基盤モデルと呼んでいる。この言い回しはプレスリリースの飾りではなく、実際に中身を説明している。

「物理ネイティブ」は何を変えるのか

ほとんどの動画モデルはピクセルを通して世界を学ぶ。大量のフレームを見て、次のフレームがどう見えるかの予測がうまくなる。だから美しい椅子のカットを作れても、カメラが回り込んだ瞬間に椅子ごと消えてしまう。

JST-2はフレームを組み立てない。基本単位はどちらかといえば原子に近い。実際の3D位置、素材、色、質量を持ち、力を受けたときにどう動き、どう変形するかが記録された、小さな物質の一片だ。これをViggleがPhysics-Native Tokensと呼ぶ形にトークン化し、ブラウザでレンダリングできる3Dガウシアンスプラットにデコードする。

実用上の帰結は持続性だ。目を逸らしても椅子は部屋の一部のままでいる。予測ではなく物体だからだ。結果の周りを回り込んでもいいし、モデルが一度も描いていない角落まで歩いていっても、シーンは崩れない。モデルを走らせ直す必要があるのは、新しい内容を足すときだけだ。

Viggleが比較対象に据えているのはWorld LabsのMarbleで、ローンチページでは1シーンおよそ6分と計測されている。対してJST-2は1秒。この差はチューニングの差ではなく、フィードフォワード生成とシーンごとの最適化の差だ。Viggleのモデルは後からシーンを当てはめるのではなく、1回のパスで3D表現を直接出力する。

{{INLINE1}}

コンテキストウィンドウは文書ではなく場所

JST-2は空間コンテキストウィンドウとして最大64の入力ビューを受け付ける。3Dモデルに対してはずいぶん妙な言い方だが、インタラクションをよく言い当てている。世界を1ビューずつ広げていき、新しいビューが次の内容のコンテキストの一部になる。

デモはそういう仕組みだ。Viggleのローンチフィルムでは、ロボットがリビングで箱を持ち上げる。打ち込んだ指示で女性が加わり、次に父親と子どもが加わり、そしてロボットが部屋を横切って箱を子どもに渡す。カメラは部屋とロボット自身の視点の間で切り替わる。この一連の流れで、シーンを最初から作り直した場面は一度もない。

64ビューは大きな環境には控えめな予算で、だからこそ注目すべき数字でもある。空間コンテキストウィンドウはテキストのそれと同じ振る舞いをする。最初のバージョンは印象的で、2番目のバージョンが人々の作るものを変える。

リギングこそが、商売として面白いところ

キャラクター機能は、お金までの距離が最短の部分だ。JST-2は1枚の画像、あるいはテキストの説明から、そのまま動かせる3Dキャラクターを作る。独立したリギング工程はない。アーティストがデジタルの骨格を置いてウェイトを塗る、スキニングのパスもない。

仕組みはトークン表現の中にある。Viggleによれば、Physics-Native Tokens内部のダイナミクスベクトルが、キャラクターの各部位が動作によってどう変形するかをエンコードしている。このダイナミクスはデータから学習されるので、モデルが渡すのはメッシュだけではなく、メッシュと変形モデルのセットだ。あとでリグを付けてくれることを期待してメッシュを投げるのではない。

ViggleはMeshy 7.1とTripo H3.1に対してブラインドの人手評価を行っている。JST-2はキャラクター生成で両方に勝ち、差が最も大きかったのは顔のディテールだった。これは2Dの参照から3Dの結果に移る間に最も失われやすい部分でもある。アニメーション適性でも優位で、とくに手の関節、そして動作中の身体と衣服の変形で差が出た。

弱点についてもViggleは正直だ。複雑な衣服の変形と髪の動きは、今後のリリースでの課題として挙げられている。生成されたマントが生成された脚を突き抜けるのを見たことがある人なら、それがマーケティング上の省略ではなく、正直な答えだと分かるだろう。

スーツなしのモーションキャプチャ

JST-2はテキストからも、実際の演技を撮った動画からも全身のモーションを作れる。別の言い方をすればマーカーレスのモーションキャプチャだ。ローンチページの例はどれも日常的な動作だ。かわしとしゃがみ込み、前転、フロントキック、ヒップホップのグルーヴ、ピルエット、ロボットダンス、ボクシング、見回しながらの歩行、ドアの通過、歯磨き、速いタイピング、前方を指差す動き。

人間にとって難しいものは一つもない。リグにとっては全部難しい。重心移動と接触、そして立て直しが入るからだ。スマホの動画からリターゲット可能な骨格へ持っていく工程こそ、いま小さなスタジオの多くがアニメーターに払っている部分だ。

物理がまだ偽物なところ

ここは覚えておきたい一線だ。Viggle自身の資料には、JST-2が衝突と物体の相互作用に依然としてプログラムされた物理ルールを使っていると書かれている。次のモデルJST-3は、その相互作用を人間がルールを書くのではなく、データから学ぶために開発されている。

つまり「物理ネイティブ」が指すのは表現形式であって、解かれたシミュレーションではない。モデルは物がどこにあり、どう動くかを知っている。同じ空間を2つの物体が取り合ったときに何が起きるかは、まだ知らない。それが「探索できる世界」と「ロボットを試験できる世界」の違いであり、Viggleもロボット訓練は今いる場所ではなく向かう先だと明言している。

ViggleはJST-3の目標を、ゲームエンジンの下に置ける、あるいは物理知能の訓練場になる完全な世界シミュレータだと語っている。大きな主張で、納品日はない。今日存在するのは、キャラクター出力が不自然なほど良い、高速なシーン生成器だ。

今週、実際に何ができるか

JST-2はPINOCで無料で試せる。Viggleの3Dキャラクターとモーション向けブラウザアプリだ。無料プランには60クレジットが一度だけ付き、同社によればおよそ1分のモーション、または最大12体の画像から3Dへのキャラクター、加えてモーション書き出し1回とキャラクター書き出し1回に相当する。無料枠のクレジットは補充されず、追加購入もできない。

有料プランは年払いで月およそ10.39ドルから、300クレジット。ライセンスが重要で、無料枠の出力は個人プロジェクト、評価、プロトタイピングに限られる。クライアントワークや収益化するものにはStarterかProが要る。書き出しはFBXかGLBなので、Blender、Unity、Unrealで開ける。

その主張を安く確かめたいなら、最も費用が少ない順番はこれだ。画像1枚、短いモーション1本、書き出し1回。モーションは1秒1クレジットなので、5秒のクリップは5クレジット。短くしておけば、無料の1分に12個のアイデアが収まる。そして「短い」は、手の関節に関する主張が持ちこたえるか崩れるかを見る場所でもある。

本当の変化

ここで変わるのは速度ではない。アセットとアニメーションが同時に届くようになることだ。20年間、パイプラインはモデリング、リギング、アニメーションの順で、矢印のそれぞれが別の人間と別のファイル形式だった。

最初の2本の矢印をつぶしても、アニメーターは消えない。消えるのは、その仕事のうち大半が事務作業だった部分であり、同時に「悪いアイデア」のコストがほぼゼロになる。フォーマットが変わるのはたいていこういう瞬間で、出力がきれいになった瞬間ではない。