PixVerse R2、動画生成を「歩いて回れる世界」に変える

ほとんどの動画生成ツールは、あなたに同じことを求める。シーンを描写し、待ち、クリップを受け取り、残すかどうかを決める。出力はファイルだ。何度再生しても同じ。違う結末が欲しければ、別のプロンプトを書いて最初からやり直す。

PixVerseの動画プラットフォームを手がけるAIsphereが9月23日に公開したPixVerse R2は、別の前提の上に成り立っている。固定されたクリップを返す代わりに、あなたが操作している間ずっと動き続ける、連続的な視聴覚世界を生成する。テキストか画像から世界をつくり、WASDキーでキャラクターを動かし、カメラを変え、プロンプトを入力してキャラクターを入れ替えたり、オブジェクトを追加したり、環境を変えたりできる。シーンはリセットされない。以前の行動は持続し、次に起きることを形づくる。

その最後の点こそが、このアイデアの核心だ。ほとんどの生成動画では、各リクエストは独立している。R2では、プロンプトが世界の状態を更新する。クリエイターのXiaolongbaoと共に制作されたデモインタラクティブ映画『Zero Mark』では、クリーチャーに贈り物を差し出すと、どの贈り物を選んだかに基づいて結果がライブ生成される。ドラゴンを渡すか、葉っぱを渡すかで物語は分岐する。もう一人のクリエイター、Jade Wuは、多くのやり取りを通じて一貫したアイデンティティと記憶を保つEveというリアルタイムのデジタルキャラクターを中心にしたシーケンスを制作した。

AIsphereはR2を汎用リアルタイム世界モデルと呼んでおり、world.pixverse.videoでゲーム、インタラクティブ映画、デジタルヒューマンのデモスペースを公開している。R2は、同社が1月に発表したR1の後継だ。

打破しようとしているトレードオフ

リアルタイム生成は常に選択を迫ってきた。小さく速いモデルはライブのやり取りについていけるが、できることは限られる。大きく高性能なモデルはより良いフレームを生み出すが、何かに反応するには遅すぎる。チームはたいていどちらかを選び、その制約を受け入れてきた。

R2はこの問題を2つの層に分ける。基盤はOmni Causal ARと呼ばれる因果的自己回帰バックボーンで、短尺・長尺の動画、マルチモーダル参照、音声、アクション制御で継続的に学習される。モデル、データ、タスク、制御信号、時間軸という5つの次元でスケールする。その上に、同じバックボーンをライブで動く超少ステップ版へと蒸留するリアルタイム加速層が載る。

この区別は重要だ。インタラクティブ性を扱うために別の小さなモデルを訓練し、それが弱くなることを受け入れるのではなく、AIsphereは高性能なモデルをより速い形に蒸留する。2つの層は系譜を共有しているので、速い版がゼロから学んでいるわけではない。

補助的な技術が細部を埋める。動的チャンキングは異なる時間スケールで作用する信号を扱い、モデルが遅い環境変化と速いキャラクターの動きを同じように扱わされることを防ぐ。3つのメモリチャネルが、持続的な世界のルール、最近の動き、オブジェクトの状態を追跡する。Error Bankは訓練中にモデル自身の失敗状態を再生する。

同社によれば、Error Bankは内部テストで長期的な明るさドリフト指標を35.8%削減し、ブロックスパースアテンションは90%を超えるスパース性でも品質をほぼ損なわないという。明るさドリフトは華やかではないが、雄弁な指標だ。長いシーケンスでは、誤差の微妙な蓄積こそが、あなたが一貫した場所を見ているという幻想を壊す。

そうでないもの

AIsphereは限界について率直だ。マーケティングが製品を追い越しがちなカテゴリでは、それは爽やかだ。厳格なリアルタイム性と遅延の制約下では、R2のシングルパス出力品質は依然として主要なオフライン動画モデルに劣る。可能な限りシャープなクリップが欲しければ、オフラインで生成して待つ方がまだ良い。

つまり価値提案は品質ではない。連続性と応答性だ。このモデルはフレームごとの磨きをいくらか犠牲にして、世界を生かし続け入力に反応する能力を得ており、多くの用途は後者をより重視するという賭けだ。

この枠組みは、中国のラボなどから登場している世界モデルの大きな波の中でR2がどこに位置するかも説明する。以前ここで取り上げたHiDreamのHD-V1は、オフライン生成における物理的な一貫性と物語の整合性を軸にしている。Googleのインタラクティブ世界モデルはプレイ可能な環境の方向へ進んできた。R2の売り込みは「入り込める環境」というメタファーに最も強く傾いている。AIsphereの創業者兼CEOであるWang Changhuはこう言い切る。リアルタイムのインタラクティブ動画は世界モデリングのすべてではないが、人々が最も早く体験できる道だ。彼はR2が制作ツールから、ユーザーがいつでも入れる環境へと進化すると期待している。

なぜゲームエンジンが重要なのか

7月に初登場したPixVerse Game Engineは、今やR2上で動く。研究の外にいる人にとって注目に値するのはこの部分だ。ゲームエンジンに接続されたリアルタイム世界モデルは、動画生成器とはまったく別の製品だ。それは、プレイヤーがメディアではなくソフトウェアにすでに期待している、作り込まれたインタラクション、セーブステート、セッションの永続性を意味する。

デモのユースケースはそのアイデアの周りに集まっている。ゲーム、インタラクティブ映画、デジタルヒューマン。いずれも視聴者が何かをする形式であり、固定されたクリップでは体験を提供できない。前回のやり取りを覚えているデジタルヒューマンは、カスタマーサービスや伴走において、一度きりの動画では決して得られない形で役立つ。視聴者の選択が本当に分岐するインタラクティブ映画は、従来の動画パイプラインではそもそも制作できない形式だ。

デモスペースと本番運用の間には実用的な隔たりがあり、AIsphereは商用提供の時期、価格、ライブのR2セッションがどれだけの計算資源を消費するかを明らかにしていない。これらの数字が、このモデルがプラットフォームになるかデモのままかを決めるだろう。

ローンチの背後にあるパターン

一歩引いて見ると、R2はこの1年のAI動画に見られる特徴的なパターンに当てはまる。最前線は「より美しいクリップを生成する」から「一貫した何かを時間をかけて維持する」へと動き続けている。その何かが5分間の物語であれ、ショットをまたいで一貫するキャラクターであれ、R2の場合のように、あなたが押してもルールを保ち続ける世界であれ、同じことだ。

それらはいずれも、服を着替えた同じ根本問題だ。時間とインタラクションが積み重なる中で、生成システムの状態を一貫させ続けること。オフラインモデルは単一のレンダリング内でフレームごとにそれを解く。R2は、入力が絶えず到着するライブセッションをまたいでそれを解く。

R2が広く使われるツールになるか、資金豊富な実験にとどまるかはともかく、このカテゴリが次の優位性をどこに見ているかを示す有用な目印だ。リアルタイム入力の下で一貫した世界を保てる企業は良い位置につけるだろう。なぜならそれが、生成動画を「観るもの」から「使うもの」に変える能力だからだ。