← ブログに戻る
Ai読了目安 13 分

他人のショットに自分の俳優を入れる、手持ちの GPU で

公開日 2026年11月13日
他人のショットに自分の俳優を入れる、手持ちの GPU で

Openjutsu を売り込むデモは単純です。動画を放り込み、人物の写真を放り込み、Generate を押すと、クリップの主役が写真の人物に入れ替わります。

大事なのは次の一文です。カメラ、カット、動き、そして音はそのまま残ります。

この制約が、キャラクター差し替えを動画生成と分けています。モデルに場面を想像させているわけではありません。すでに存在するショットを、そのテンポと音ごと維持したまま、中の人物だけを入れ替えさせています。つまり難しい問題はすべて一貫性の問題で、一貫性の問題はすべてトラッキングの問題です。

3 つのモデル、1 本のパイプライン

Openjutsu は ComfyUI のワークフローの上に載った Next.js のフロントエンドで、`@comfyorg/sdk` で書かれ、Comfy 自身のリファレンスアプリ `comfy-reshoot` に倣っています。その下で 3 つのオープンモデルが 3 つの別の仕事を担当します。

MiniMax H3 が動画を生成します。SAM 3.1 がクリップ全体を通して人と物体を追跡します。Qwen3-VL 8B が画像と動画のフレームを見て、やがてプロンプトになる説明文を書きます。すべてがオープンウェイトのまま、自分のハードウェアで動きます。

分けること自体が設計です。1 つのモデルに「この人物を差し替えて、ほかは何も変えないで」と頼むと、部屋まで気軽に描き直します。仕事を分ければ、トラッカーがどこを変えるかを決め、記述役がどう変わるべきかを決め、生成側は渡された領域だけを埋めます。

同じ灰色の人体マネキンが 3 体並び、右端の 1 体だけ彩色されて服を着ている

4 つのモード、野心的な順に

シンプルなモーショントランスファーは、画面の大部分を占める 1 人を差し替えます。1 人が入り、1 人が出て、アプリは単一スワップのワークフローを回します。

アドバンスドなモーショントランスファーは 1 人から 4 人までを扱い、それぞれに任意のロールを付けられます。追跡された人はショットごとにロールへ割り当てられ、キャラクターを割り当てなかった人はそのまま残ります。2 人しか要らないときに 1 人ずつパスを回す、より高品質な変種もあります。

オブジェクトスワップは、SAM が誰を追うかではなく何を追うかを変えます。ジャケット、車、髪を、説明したものや写真で示したものに置き換えたり、丸ごと消したり、人物はそのままで周囲の背景だけ変えたりできます。再生成されるのはその領域だけです。

From picture は一番奇妙で一番役に立つモードです。FLUX が写真のキャラクターを、元の動画フレームの体型に合わせて配置し、キャラクター写真の背景は保ちます。その静止画を確認するか作り直してから確定します。視覚的な記述役がその区間を見て、何が起きているか、動作、手に持っているもの、表情を書き、用意した画像向けにその説明を書き換えます。それからレンダリングします。

Relight スイッチもあり、既定ではオフで、同じ FLUX のパスで用意したキャラクターの光を変えます。17 種類のルックがあり、それぞれに作例画像が付き、自分で説明することもできます。別のオプションはキャラクター写真なしで動画本来の人物にライティングし直します。あるショットを、それが切り込まれた場面に合わせたいだけのときに便利です。

動かすのに何が要るか

NVIDIA の GPU です。作者は RTX 4060 Ti で、16 GB の VRAM と 64 GB のシステム RAM という構成で試しています。H3 の int8 モデルは常駐せず RAM からストリーミングされます。民生向けのカードで、借りた H100 ではありません。リポジトリで一番心強い数字です。

ComfyUI 0.41.2 以降が必要です。コアが MiniMax H3、SAM 3.1、TextGenerate を同梱するようになったからです。その上にカスタムノードを一式入れます。`comfyui-h3-oneclick-swap` はスワップとオブジェクトの計画、人とロールのマスク、灰色のマネキン、トラックのラベリング、カット検出、ショットリスト、顔修正のチャンクを担当します。`ComfyUI-MiniMaxH3-Context-Loop` はクリップのループと最終合成、`ComfyUI-H3-FaceRefine` は顔の追跡、切り抜き、SAM の顔マスク、貼り戻しを担当します。ほかに ControlNet aux、KJNodes、VideoHelperSuite、Impact Pack と、いくつか小さめのものが必要です。

モデルファイルも同じくらい具体的です。DMAD の 4 ステップ LoRA、int4 の H3 テキストエンコーダー、int8 の Qwen3-VL 8B 記述役、そして from picture の経路用に任意で SolarRenderer の 4 ステップ LoRA のペアです。

Windows には `start_openjutsu.bat` があり、プロキシを起動し、そこにライブ進捗を当て、アプリをビルドしてページを開きます。手動セットアップは 5 ステップで、かなり分かりにくい修正が 1 つ含まれます。ComfyUI を起動する前に `AIOHTTP_NOSENDFILE=1` を設定してください。そうしないと、シークした瞬間にプレイヤーが送る最初の部分ファイル要求が `/view` を詰まらせ、再起動するまで以降のダウンロードがすべて止まります。

プリフライトチェックがこのプロジェクトの良いアイデア

ジョブがアップロードされる前に、Openjutsu は選んだワークフローを ComfyUI の登録ノード一覧とモデルファイル一覧に突き合わせます。足りないパッケージはインストールリンク付きで出ます。足りないモデルファイルは置き場所のフォルダ付きで出ます。

小さな機能ですが、価値は釣り合いません。ほとんどの ComfyUI ワークフローは、誰も聞いたことのないノードクラスについてのスタックトレースを吐いて落ちます。これはどのリポジトリを clone して、ファイルをどこに置くかを教えてくれます。決して始まらないレンダリングを 20 分待つ前に。

調べないこともはっきり書いています。Python の依存関係、モデルの整合性、使用可能な VRAM です。正直な線引きです。VRAM を調べると称するプリフライトは、どのみち半分は間違います。

居心地が悪くなる話

キャラクター差し替えには明らかな悪用の道があり、リポジトリもそれを隠していません。この技術は既存の映像の顔と体を置き換えるもので、ローカルで動き、オープンウェイトで、サービスへのアップロードもウォーターマークもありません。正当な用途は広いです。俳優が来られないときのピックアップ、スタンドインでのプリビズ、撮り直しなしの衣装変更、別の演者でのローカライズ。不正な用途は検索 1 回の距離にあります。

実際の防御はどのローカルモデルにも当てはまるものと同じです。ツールは政策ではありません。スタジオには出演許諾書と管理責任のルールがあります。個人にあるのは管轄の法律だけで、多くの場所でその法律は技術に数年遅れています。

実際の仕事を計画している人には技術的な注意も要ります。トラッキングは失敗します。遮蔽、速いカット、フレーム外に出る人、似た服装で重なる 2 人。SAM 3.1 は優秀ですが完璧ではなく、悪いトラックの上に組んだスワップは期待どおりの結果を出します。ショットの途中でキャラクターが体から滑り落ちます。アドバンスドモードのショット単位のロール割り当てはこのためにあり、顔修正のパスも同じです。

インストールしなくても読む価値がある理由

Openjutsu の面白い主張はアーキテクチャ側にあります。説得力のあるキャラクター差し替えはパイプラインの問題だ、という主張です。強いモデルを 1 つ入れても解決しません。変えるべきものを追跡し、何になるべきかを記述し、その領域だけを生成し、顔と光を別のパスで直す。

この分解は使い回せます。同じ骨格が衣装変更、プロダクトプレイスメント、背景差し替え、ローカライズにそのまま当てはまります。どれもより良い動画モデルを必要としていません。必要としているのは、どのピクセルが動いてよいかを決める、より良い計画です。

リポジトリは計画、マニフェスト、ノード一覧、失敗の仕方まで出しています。この手品がどう動くかについて、ほとんどのクローズド製品はここまで教えてくれません。

関連記事

Pinky は agent に自分のスマホを操作させる。送信ボタンは、あなたが許可を押すまで押さえたまま

Pinky はどんな MCP agent でも本物の iPhone や Android につなぎ、承認をプロンプトではなく自前のゲートウェイで強制する。銀行アプリは見えず、パスワード欄は通行止め、Android 13 では agent に隠れた2枚目の画面が渡される。

サーバー1台、AI配信者1人:夜のライブ配信を動かすコードの中身

open-yoki は、毎晩 Binance Square で配信する AI ホストの本番コードで、人格・声・お金に関わる機能は取り除かれています。headless Chrome がフレームを描き、ffmpeg が RTMP を押し、Markdown フォルダが彼女の気分と投稿内容を決めます。

SoduWork の依頼は、チャットが止まったときではなく、依頼した人が承認したときに終わる

SoduWork はセルフホストのワークベンチだ。依頼には着手前に受け入れ基準が書かれ、納品は別の harness がレビューし、最後は人が承認する。うまくいった進め方はプラグインとして保存され、チームの他の人がそのまま実行できる。

世界の法律を git に入れた人がいる。だから法令も blame できる

global-law は各国の法令を git リポジトリとして持ち、1 つの commit が既知の日に効力を持った 1 つの法律にあたる。条文に対して log、blame、show、diff を実行でき、ある日の各国の施行状況を調べ、コーパス全体を MCP 経由でアシスタントに渡せる。