ElevenLabs は吹き替えの中にリップシンクを入れた。予算表から一行が消える

11 月 12 日、ElevenLabs は Dub & Sync を ElevenCreative に追加しました。動画をアップロードし、欲しい言語を選ぶと、新しい音声に口元を合わせた吹き替え版が返ってきます。1 回の実行で、別の工程はありません。発表には価格も、対応言語数も書かれていません。
短い一文ですが、制作予算から一行まるごと消える変更です。
この工程はどう分かれていたか、なぜそうなっていたか
トーキングヘッドの動画を 5 言語にする仕事は、生まれたときから 5 段階でした。台本を翻訳する。声をキャスティングするか合成する。音声を録るか生成する。口元を新しい音声に合わせる。そして conform して確認する。
お金が消えていたのは第 4 段階です。問題の半分どうしがそこで食い違うからです。翻訳は言葉を変え、長さも変えます。ドイツ語は英語より長く、日本語は短く、強勢の位置も違います。届く音声にはリズムがあり、元の演技はそのリズムを前提に作られていません。英語の音素を形づくっている口を、ポルトガル語を話している音声に合わせる作業が誰かに残ります。
普通の答えは 2 社目を雇うことでした。吹き替え会社が声を、リップシンク会社が顔を担当します。それぞれに行列があり、ファイル形式があり、「納品」の定義もありました。その間に conform の工程が挟まり、誰も請求せず、全員が払っていました。
第 4 と第 5 を統合すると、取引先が 1 社減ります。機能追加より大きな変更です。
インターフェースが示していること
Dub & Sync は動画を入力に取り、動画を返します。この枠組みはモデルより重要です。
リップシンクが独立した製品のとき、渡すのは動画と音声ファイルで、返るのは口元の変わった動画です。単位は固定された素材で、上流の変更はすべてやり直しになります。リップシンクが吹き替えの中にあると、単位はローカライズの仕事になり、台本と声と顔を同じ場所に置いたまま処理できます。
後者の枠組みには、前者にできないことがあります。翻訳を演技に合わせる方向です。口元が決まったフレーム数で一語を運ばなければならないと分かっていれば、その一語を書き換えられます。プロの吹き替えは何十年もこれを「アダプテーション」と呼んできました。翻訳くさく聞こえる吹き替えと、書かれたように聞こえる吹き替えの差はそこです。
ElevenLabs は Dub & Sync がアダプテーションをするかどうかを言っていません。聞くべきはそこです。なければ速い受け渡しにすぎません。あれば別の仕事になります。
偶然あった品質ゲート
仕事を 2 社に分けることには、過小評価されている利点があります。受け渡しがチェックポイントになるのです。音声が顔へ行く前に誰かが見て、出荷前に誰かが顔を見ます。ベンダーが 2 社あると、3 行目が間違っていることに人間が気づける瞬間が 2 回あります。
パイプラインを 1 回の実行に畳むと、その 2 回が消えます。統合ツールはどれもこの取引をします。チェックには新しい場所が要ります。
吹き替えで本当に重要なチェックは具体的です。声は元の話し手の年齢、レジスター、速さに合っているか。各フレーズの頭と末尾で、口の動きは正しい音節に乗っているか(同期の破綻が最も見えやすいのはそこです)。感情の弧は残っているか、それともどの言語も同じ穏やかな熱意になるか。最後のものは合成音声一般の失敗の型で、リップシンクの指標が捉えられないものです。
実際に何が変わるのか
3 つの層があり、計算が違います。
クライアントのキャンペーンを 8 市場に展開する代理店は、いま予算表に吹き替えの行とリップシンクの行を作ります。統合すると費用も日程も削れます。日程のほうが重要です。キャンペーンの日付は動かないからです。
2 つ目は講座や研修動画を作る人たちです。彼らは頻繁に撮り直し、撮り直しのたびに全言語で吹き替えが発生します。動画が入力で出力でもあるパイプラインなら、5 回目の修正は 1 回目よりずっと安く済みます。
3 つ目が、誰かが気にすべき層です。演技主導のコンテンツ、つまり俳優の顔が製品である仕事をする人は今、その顔が話す内容を、俳優が話せない言語で書き換えられる道具を持っています。出力は十分に説得力があり、問いは技術ではなくなります。
その下にある同意の問題
吹き替えは今、人の口元への編集です。この文はリップシンクの道具が現れてからずっと真でしたが、当時の道具は分かれていて、扱いにくく、ポストプロダクションとして説明しやすいものでした。1 回のアップロードで 1 つのファイルを返す吹き替え製品に畳まれると、同じ操作が日常になります。
標準的なタレント契約の多くは他言語への吹き替えをカバーしています。出演者の顔の合成的な再アニメーションまでカバーするものは減り、声も合成だった場合にどうなるかまで触れるものはさらに減ります。2023 年に書かれた「吹き替えの権利」を与える契約は、クローン音声に合わせて口元が 1 フレームずつ作り直されることを想定していなかったはずです。
道具が問題だと言いたいのではありません。紙が追いついていないのが問題で、スタジオが出荷前に確認するのは紙です。複数市場向けにタレント主導のコンテンツを作っているなら、今月の実務的な一手はリリースに 1 段落足すことです。合成音声と合成の顔再アニメーションへの同意を、地域ごとに、期間付きで。
価格はどこに着地するか
ElevenLabs は Dub & Sync の価格を出していません。公開週としては普通のことですが、買い手が必要とする唯一の数字でもあります。
見積もる方法は、それが置き換えるものに値段を付けることです。中規模の言語市場向けに 1 分のプロ吹き替えを作ると、アダプテーション、キャスティング、スタジオ代、QC を入れれば数百ドルになります。専門ベンダーのリップシンク 1 分はそれより安いですが、行列がもう 1 つ増えます。Dub & Sync が 2 つの間に入れば日程で勝ち、リップシンクの価格に近ければ全部で勝ちます。
この製品が賭けているのは、ほとんどの買い手が職人の技に払っていたわけではないということです。払っていたのは調整の手間で、調整はいまソフトウェアになりました。
Adobe がパートナーの動画モデルを Premiere に入れたのも同じ賭けです。Krea が自社のルールをエージェントの記憶に入れたのも同じです。モデルは交換可能になりつつあります。受け渡しはそうではありません。受け渡しを 1 つ消した者が顧客を取ります。
まず何を試すか
すでに承認済みの演技が入った完成動画を 1 本用意します。自分で評価できる 3 言語に通し、できれば母語話者に同席してもらいます。各フレーズの最初の 2 秒を見ます。リップシンクが破綻するのはそこです。そのあと最後の 2 秒を見ます。
境界で口元が保てば、その道具は使えます。文の感情の向きが変わる瞬間だけ保たないなら、人間が要る部分が見つかったということです。次の四半期に何の予算を取るかも分かります。