← ブログに戻る
Ai読了目安 11 分

動画の人物を差し替えて、声は元のまま戻す

公開日 2026年11月11日
動画の人物を差し替えて、声は元のまま戻す

Genjustsuというリポジトリが10月6日に現れ、1,454スターと、タイトルの代わりの一文を伴っていた。あなたのシーンに、新しい人物を。

ローカルUIとエージェントのワークフローで、動画の被写体を入れ替える。カラー深度、SAM 3のマスク、そしてEnhancor経由のSeedance EditかOmni。まずドラフト、1080pの前に承認、最終書き出しではモデルが生成した音ではなく、元の音声全体を復元する。

最後の節が、二度読む価値のある部分だ。

パイプラインが実際にやること

READMEは9つの手順を並べていて、異常に具体的だ。願望ではなく検証できる形になっている。

ソースを無改変で保存する。音声を抽出し、Replicate上のDemucsでボーカルと音楽を分ける。分離したボーカルを3半音上げ、Rubber Bandで長さを保つ。作業用動画を24fps、最大960ピクセルに正規化する。`lucataco/depth-anything-video` からカラー深度を取得し、返ってきた色をそのまま使う。SAM 3を走らせて深度上に生のPNGマスクを作り、位置合わせ、被覆、背景へのはみ出しを確認する。深度の被写体を元の背景へ合成し戻す。

そこでゲートだ。クリップ全体のマスクを目視でレビューする必要があり、承認は現在の成果物のハッシュに紐づく。上流のどれかが変われば、承認は適用されなくなる。

合成したMP4はピッチを上げたボーカルを載せている。キャラクター参照付き、独立した音声トラックなしでSeedanceへ渡す。ここが判断を要した部分だ。動画モデルにきれいな分離ボーカルを渡すのは、真似する材料を渡すことになる。Editは画像参照を、Omniとマルチ参照は動画の同一性参照を扱う。既定はドラフト。ポーリングし、ダウンロードし、生成された音声を捨て、元のサウンドトラック全体を貼り戻す。満足したら1080pのパスを承認し、もう一度サウンドトラックを復元する。

3半音

ピッチシフトは最も興味深い未説明の手順で、READMEは説明していない。

理由は設計の明示ではなく推測だろうから、そう扱う。長さを保ったままボーカルを3半音上げると、元の声を元のピッチで渡さずに、口の動きに合う音声トラックができる。長さが保たれるのでリップシンクは生き残る。モデルが聞くのは、もっともらしい程度に近く、きれいな声のサンプルにはならない程度に遠い。

意図が何であれ、完成ファイルへの効果は明白だ。最後に元のサウンドトラックが完全な形で戻る。出力はソースの音声を保ち、絵を差し替える。通常の取引の逆だ。ほとんどの動画ツールは生成したフレームに合わせて音を生成する。これは音を不変量として扱う。

その選択には技術的な形と法的な形がある。声はその人のものだ。モデルがきれいに受け取らず、書き出しが生成された代替を使わないように、ワークフローは組まれている。

ハッシュ拘束の承認こそ本当の貢献

マスクの必須レビューは珍しくない。珍しいのは、承認が成果物のハッシュに縛られていることだ。

帰結を読む。承認は心の状態ではなく、特定のファイル群に対する署名だ。マスクを変え、深度パスを変え、コンポジットを変えれば、署名は無効になる。生成は古い承認の上を進まない。

人間のレビュー工程を挟んだ制作パイプラインを回したことがある人なら、これが防ぐ失敗を知っている。レビュアーはバージョン4を承認する。修正が入り、バージョン5がレンダリングされ、キューが進んだのでバージョン5が出荷される。ハッシュ拘束は、承認が瞬間ではなくバイトを指すようにして、その隙間を閉じる。

同じ論理の細部が2つある。ドラフトは最終より安いので、承認は960ピクセルと1080pで2回行われる。承認はジョブIDではなく成果物に縛られるので、同じジョブを古い署名のまま新しい入力で再実行することはできない。

動かすのに必要なもの

Python 3.12以降、Rubber Band CLI、cloudflared。macOSなら `brew install rubberband cloudflared`。Ubuntu、Debian、WSLなら `sudo apt install rubberband-cli python3-venv` にcloudflaredを加える。そのあと:

bash setup.sh

分離されたvirtualenvを作り、要件を入れ、空の `.env` を作り、依存を確認する。自分の `ENHANCOR_API_KEY` と `REPLICATE_API_TOKEN` を書く。そのあと `./start.command` が `127.0.0.1:8770` でUIを開き、`doctor.py --require-keys` が足りないものを教える。

cloudflaredの依存は飾りではない。Enhancorはwebhook URLを要求するので、ランチャーは自分で設定していない場合にコールバック専用のQuick Tunnelを起動する。UIとメディアはlocalhostに残り、トンネルはコールバックを受けるためだけに存在する。ネイティブWindowsのユーザーはWSL2を使うよう指示される。

既定のホステッド構成ではローカルのモデル重みもGPUも要らない。これが主要なアーキテクチャ上の判断だ。重い処理は他社のAPIで、リポジトリはオーケストレーション、レビューゲート、音声の外科手術だ。

エージェント経路もある。フォルダをコーディングエージェントで開き、`docs/SETUP-AGENT.md` と `.agents/skills/tein-video-workflow/SKILL.md` を指せば、OSを検出し、前提を入れ、環境を作り、ローカルテストを走らせ、アプリを起動し、準備完了を検証する。READMEにはそのためのプロンプトが用意されていて、最後に注目すべき指示がある。有料生成を実行しないこと。

ファネルは見えている、それでいい

リポジトリはMIT。バナーにはTEIN AIのウェイトリスト、そして市場で最も安いと説明されるEnhancorのAPIページへのリンクもある。ワークフローがこの形なのは、パイプラインがホステッドの被写体差し替えモデルを必要とし、作者がそのアクセスを売っているからでもある。

読み手にとって、それはプロジェクトが何であるかを変える。完全にオフラインでは動かないので、手に入るのは有料APIの周りの、よく文書化された参照実装だ。APIを買うかどうかに関わらず読む理由は、文書の質にある。

持ち運べるのは順序だ。ソースを守り、音声を分離し、生成の前に同一性のリンクを切り、マスクに人間のゲートを置き、承認をファイルに縛り、2回生成し、元のサウンドトラックを戻す。SeedanceやEnhancorに固有の部分は一つもない。

どこに行き着くか

動画の被写体差し替えは以前から技術的には可能だった。欠けていたのは、ブランドやスタジオがレビューで説明できる制作の形だ。無傷で保たれたソース、ハッシュ付きの承認、変わらない声。

リポジトリは商業的な尾を持つ小さなオープンソースプロジェクトで、大半は実際には動かさない人に読まれるだろう。それでも9つの手順は読む価値がある。モデルが製品ではなく多数の構成要素のひとつであるとき、説明可能な動画編集がどんな形になるかを記述しているからだ。

関連記事