Adobe の Project Live Set は再生したままクリップを直す

11 月 11 日の Adobe MAX Sneaks のデモでは、黒い猫が床に座っています。その上に 4 つのプロンプトが積まれています。猫にシェフの帽子をかぶせる、猫を柴犬に置き換える、マイアミ柄のシャツを着たワニに置き換える、タキシードを着た子犬に置き換える。置き換えが決まる間も再生ヘッドは動き続けます。ファイルに書き出して戻ってくる工程はありません。見ている前でフレームが変わります。
Adobe はこれを Project Live Set と呼びます。研究プレビューであり、製品とは言えません。同社は背後のモデルにも触れておらず、提供時期も示していません。Adobe の映像・音声研究グループを率いる Gautham Mysore は、生成と編集をひとつの連続した体験にまとめ、作り手が結果を見て、反応し、次を方向づけられるようにするのが狙いだと話しました。動く映像のスケッチツールとも呼んでいて、今のところ最も正確な説明です。
インターフェースで変わったこと
生成映像は 2 年間、バッチ処理でした。プロンプトを書き、待ち、クリップを受け取り、見て、3 秒目が違うと気づきます。そこから全体を作り直して良い部分が残るのを祈るか、編集ソフトに移ってカットやマスクで悪い区間を隠すかです。
Live Set は順番を逆にします。すでにあるクリップから始めて、再生されている間にそれを直します。仕事の単位が生成から再生位置へ移ります。

UI の細部のように聞こえます。変わるのは、評価できることです。生成されたショットを判断するには、それ自身のテンポで動く姿を見る必要があります。ところが今の道具の多くは、本番の書き出しを決める前に、静止画か短いループで判断させます。編集がタイムライン上で起きるなら、判断も間違いが見える場所で起きます。
実際に出る部分:Premiere の中の生成
見出しを取ったのは研究プレビューです。今月使えるのは、11 月 10 日の Creative Cloud の発表のほうです。
Adobe は Generative Media と呼ぶ道具で、Generate Video を Premiere のタイムラインの中に置きました。編集者が空きを選ぶと、システムが周囲の編集を文脈として読み、そこを埋める b-roll を生成します。返ってきたものはタイムラインに載り、その場で調整できます。モデルは Firefly に限りません。パネルには Google、Kling、Runway、Luma のパートナーモデルも並びます。
この最後の一文が、静かな戦略的な動きです。Adobe は長年、Firefly を Creative Cloud に留まる理由として打ち出してきました。タイムラインを競合の映像モデルに開くことは、もっと単純な事実を認めることになります。編集者が欲しいのは、その空きに合うショットです。どのベンダーのモデルかは問いません。
Generative Remove も同時にベータで出ました。不要な物をマスクし、クリップ全体で追跡し、削除を押します。Adobe の例はブームマイク、ロゴ、背景の邪魔なものです。埋めた部分は本物らしく、フレームの残りはそのままだという主張で、どの除去ツールも言うことではありますが、重要なのはそこだけです。
音声の更新も受け渡しを減らす同じ考え方です。Enhance Audio はミックスをセリフ、音楽、環境音、効果音に分け、それぞれを別に整えられるようにします。Separate Sound Source は騒がしいセリフをきれいにし、成分に分解します。Separate Crosstalk は重なった話者を独立したトラックに載せます。以前取り上げた Color Mode は一般提供になりました。
タイムラインがふさわしい場所である理由
プロンプト欄は何も知りません。タイムラインは前のショット、次のショット、レンズ、グレーディング、カメラの動き、そして俳優が左手にカップを持っていることまで知っています。
まともな生成映像の仕事は、どれもこの隙間を埋めるように組まれてきました。チャット画面で生成し、ダウンロードし、取り込み、次の 1 時間を、何も伝えていない素材に結果を合わせるのに使います。生成クリップは単体で評価され、シーケンスに触れた瞬間に崩れます。
生成を文脈のある場所に置くと、失敗の種類がひとつ消えます。工程がひとつ減るのは副産物です。「AI があなたの映画を編集する」より小さな約束でもあります。道具が埋めるのは、あなたが決めた隙間です。その隙間があるべきかどうかは、今もあなたが決めます。
Live Set がまだ証明すべきこと
3 つあり、Adobe はどれにも公に答えていません。
1 つ目は実解像度でのコストと遅延です。圧縮プレビューでのリアルタイム置換と、4K マスターでのリアルタイム置換は別の工学問題です。この種のデモはどれも即座に見えますが、それはデモが即座に見えるように作られているからです。
2 つ目は時間的な一貫性です。固定ショットで猫を柴犬に置き換えるのは簡単な場合です。難しいのは、被写体が向きを変え、別の物の後ろを通り、戻ってくる場合です。デモは 4 つの置換を同時に見せていますが、示しているのは処理量です。持続性の証明にはなっていません。
3 つ目はフレームの残りがどうなるかです。生成的な編集は漏れやすいものです。帽子を頼むと耳の光が変わり、猫の下の影が 2 度ずれます。Adobe が出している除去ツールは、触れていない領域は触れないままだと約束しています。その約束は sneak と違って検証できます。
そのすべての下に、ライセンスの問いもあります。Premiere は今、4 社のパートナー映像モデルを並べています。学習データについての立場も商用条件も 4 通りです。ドロップダウンからモデルを選ぶ編集者は法的な選択をしていて、ドロップダウンメニューはそのことを何も伝えません。
11 月のリリースに共通する形
同じ 10 日間に何が出たかを見てください。Krea は Bots のベータを開きました。制作プロジェクト全体を引き受け、家のルールを記憶に保つエージェントです。ElevenLabs はリップシンクを吹き替えに畳み込み、外国語版が 1 つの仕事で済むようになりました。Melius は Ditto を公開し、完成したクリップの中で人と物を入れ替えます。Google は Flow に 5 つの道具を足しました。ひとつは 1 回のスマホ撮影を、演技を保ったまま複数のカメラアングルに変えます。
どれも新しいモデルではありません。どれも、仕事が起きる場所の変更です。
過去 2 年のモデル競争は奇妙な副作用を残しました。能力が、それを置く場所より速く届いたのです。説得力のある 8 秒のショットを作れても、編集に入れるのに半日かかることがありました。今回のリリース群はその距離を縮める話で、最も速く縮めているのは、判断が下される画面をもともと持っている会社です。
Adobe はタイムラインを持っています。強い立場であり、居心地のよくない立場です。画面を持つということは、モデルを誰からでも借りられるということで、Adobe が自分のパネルに招いたばかりの会社も含まれます。
今これをどう使うか
Live Set は計画を立てる対象ではありません。Sneaks のプレビューは 2 年後に狭い形で届くという長い歴史があり、Adobe も明示的に約束を避けています。
Premiere の機能は本物です。映像を切って暮らしているなら、今月の面白いテストは、編集の中で b-roll を生成したほうが外で生成するより捨てる本数が少ないかどうかです。b-roll が美しいかは 1 年前に決着した問いです。捨てるテイクの数は、各テイクの質が上がる以上に下がるはずで、モデルをタイムラインに入れる議論はその差に乗っている、というのが私の見立てです。