Netflix の Eyeline Studios、生成 AI は「60%」まで。残り 40% が本当の仕事だ

今月の VFX カンファレンスでいちばんためになった一文は、拒絶の言葉だった。

「私たちはプロンプトでショットや映画を作っているわけではありません。そこが私たちではありません」。そう語ったのは、Netflix 傘下の VFX スタジオ Eyeline Studios でバーチャル・パイオニアリング担当バイスプレジデントを務める Mohsen Mousavi 氏。トリノの View Conference での発言だ。『ゲーム・オブ・スローンズ』最終シーズンを手がけた経歴を持つだけに、この拒絶は生成モデルの実力を知らないゆえのものではない。仕事はどこにあるのか、という話をしているのだ。

興味深いのは、その境界線の見積もりだ。生成モデルは制作をおよそ 60〜70% まで進められる。100% まで持っていくことこそが、いちばん重要になる。

「ハイブリッド・プロダクション」とは実際どういうことか

Eyeline のやり方は「ショットを生成する」ではない。実写、従来の VFX、生成ツールの三者を混ぜる。しかもその配分はプロジェクト単位ではなく、ショットごとに決める。

ワークフローは撮影が始まる前から動いている。生成 AI を使うアート部門が、従来のアーティストと並行してデザインを探る。次に来るのが、実際に仕事の大半を担う技術だ。スパース・セット、つまり部分的なセットである。俳優は部分的に組まれた物理的なセットで演技し、照明は比較的フラットに当てる。周囲の環境とライティングは後から作り直し、元の演技はそのまま残す。

Mousavi はこれを、従来のアート部門の代替ではなく拡張だと言う。この言い方には実質的な意味がある。アート部門の仕事は昔から、カメラに何を写すかを決めることだった。Eyeline はその決定の一部を、スケジュールのより後ろへ移している。

その上にボリュメトリック・キャプチャの層が乗る。ある場所で撮った映像を別の環境に変換できる。しかもその環境のいくつかは、グリーンバックをまったく使わずに作られている。「演技を撮ったあとに、光の自由とカメラの自由の両方が手に入ります」と Mousavi は言う。ただし条件付きだ。俳優のアイデンティティと演技が、その工程を生き延びなければならない。

2 本の作品、2 つの異なる問題

Brazil '70: The Third Starは、1970 年ワールドカップで優勝した代表チームを描くドラマだ。Eyeline はスタジアムを観客で埋める必要があったが、タイル状に並べたのではなく、感情で反応しているように見せなければならなかった。答えは単一の手法ではない。撮影した観客のエレメント、スプライト、従来の CG、生成手法を重ねていく。Mousavi の主張は芸術論ではなく予算の話だ。同じ仕事を従来の VFX でやるのは「その予算では、とても、とても難しかったでしょう」。

The American Experimentは 5 部構成の歴史ドキュメンタリーで、作業はずっと静かだ。背景のエクステンションと、生成した塵。それを実写映像と統合する。塵は、この技術が本当に強い場所を示すいい例だ。ボリュームがあり、時代物の街並みにはどこにでもあり、説得力のあるシミュレーションは高くつく。そして観客の誰も、粒子のひとつひとつを検証したりはしない。

Eyeline はほかに、演技そのものを残したまま俳優の見た目の年齢を変えるデモや、撮影後にカメラ位置とライティングを調整する研究短編も披露した。Eyeline の GenFX グループを率いる James Rustad は、釜山の観客にBrazil '70の規模を数字で示している。1,300 ショットを超える VFX、45 人のアーティスト、そして 4 段階のワークフロー——セットアップ、ナラティブ、ルック、デリバリー。実験と仕上げのあいだに、人間の物語上の判断を意図的に置いている。

正直な部分：流体

カンファレンスの講演は、たいてい最強のデモで終わる。この講演は、いちばん弱いものも意図的に混ぜてきた。

Eyeline は制御可能な生成流体に取り組んでいる。現状について Mousavi は率直だった。これらのシミュレーションは決定論的ではなく、制御が非常に難しい。目標は、速度・粘性・乱流をキーフレームで制御し、さらに泡や飛沫を、下にあるシミュレーションを乱さずに加えられるようにすることだ。

そして、実際に VFX をやっている人間にしか出てこない言葉が続く。VFX では、本当に欲しいのは流体の物理を壊すことだ、と。本物の水はドラマチックじゃない。求められているのは物理的な正確さではなく、演出可能な不正確さだ。テキスト・トゥ・ビデオのモデルが最適化しているものとは、まったく別のターゲットである。だからこそこのスタジオは、他人のモデルにプロンプトを投げるのではなく、自前のツールを作っている。

ほかに見せた研究は、ガウシアン・スプラットの 3D キャプチャを冬から秋へリストライリングするもの、人物の演技を AI 支援でリライティングするもの、単一カメラの記録から歩き回れる 4D シーンを構築する試み。リライティングのシステムを訓練するために、Eyeline は 40 台の同期した RED V-Raptor カメラを組んだリグを使い、より可搬性の高いキャプチャ機材も作っている。

誰もデモしないトレードオフ：フラットな光とアイライン

スパース・セットは、とても古い制約をひっくり返す巧みな手だ。従来は、カメラが本物を写せるようにセットを組んでから、物語に合わせて照明を当てる。Eyeline は順番を逆にする。比較的フラットで均一な光の下で演技を撮り、そのあとで世界のほうを作り直す。

フラットな光は、その代償だ。わざと面白みのない光にしている。プレートに焼き込まれた面白い光は、環境を差し替えるときに問題になるからだ。もう存在しない窓からの硬い影が俳優の顔にすでに落ちているのに、そこにランプを置くことはできない。フラットに撮っておけば演技は使えるままで、照明の判断はすべて下流、あとから変えられる場所へ押しやられる。

下流に押しやれないのは、演技そのものだ。Eyeline の言い方はここで一貫している。俳優のアイデンティティと演技は生き残らなければならない。作り直した環境は、棒の先のテニスボールを見つめていたのが画に出てしまったテイクを救ってはくれない。この技術が買うのは光とカメラの自由であって、演出からの自由ではない。

だからこそこのスタジオは、自らをアート部門の代替ではなく拡張だと言い続ける。誰かがまず、その部屋がどう見えるかを決めなければ、後から差し替えることなどできないのだ。

なぜ 60/70 という数字がすべてなのか

プロのポストプロダクションで、最後の 30% が何でできているか考えてみてほしい。ショット内の時間的な一貫性、4K の仕上げに耐える解像度、ハイダイナミックレンジ。そして撮影監督が「左をもう少し暗く、窓の光はもっと遅い時間に」と言い、それを木曜日に、再現性をもって受け取れること。

生成モデルは最初の 60% では驚くほど強い。最初の 60% こそが新規性の住む場所だからだ。最後の 30% が弱いのは、そこが一貫性の住む場所で、一貫性はサンプリングの正反対だからだ。

「どの基盤モデルを使っていますか」という問いに、スタジオが肩をすくめたのも同じ理由だ。仕事の大半は自社の研究と自社モデルに基づいていて、外部パートナーシップと専用に撮り下ろした訓練データも使う、と Mousavi は言う。モデルは借りるのがいちばん簡単な部分だ。キャプチャのリグ、訓練データ、そしてショットを再現可能にするパイプラインは、そうではない。

業界が気づくべき部分

Netflix は 7 月、およそ 300 タイトルが何らかの生成 AI を使ったと発表した。Ben Affleck の映画製作テクノロジー企業 InterPositive も買収している。この 2 つを並べると、アーティストを置き換える話ではない戦略が見えてくる。決まった人数のアーティストが、より多くのショットをカバーできるようにするパイプラインを買う、ということだ。

Mousavi は、調達要件のように読めるフレーズに何度も戻ってきた。「ブラックボックスではないことを確実にしたい」。撮影監督やプロダクション・デザイナーが結果を形作れなければならない。それができなければ、デモがどれだけ良く見えても、そのツールは作品で使われない。

これが今の AI 動画の本当の分かれ目だ。オープンかクローズドかではない。4K か 1080p かでもない。特定の意図を持つ人間が出力を操れるかどうか、そして明日ディレクターが気を変えたときに、もう一度操れるかどうか。60% は簡単だ。残りの 40% が仕事なのである。