← 返回部落格
Ai預計閱讀 9 分鐘

ElevenLabs 把嘴型同步塞進配音裡,預算表上少了一行

發布於 2026年11月14日
ElevenLabs 把嘴型同步塞進配音裡,預算表上少了一行

11 月 12 日,ElevenLabs 把 Dub & Sync 加進了 ElevenCreative。上傳一段影片,勾選想要的語言,拿回來的是一版配好的片子,嘴型已經貼到新的音軌上。一次跑完,中間沒有獨立的步驟。公告裡沒寫價格,也沒說支援多少種語言。

這句話很短,可是它抹掉的是製作預算裡的一整行。

這道工序原本怎麼拆,為什麼這樣拆

把一段口播影片做成五種語言,這工作從出現那天起就是五個階段。翻譯腳本。找配音員或合成聲音。錄製或產生音軌。把嘴型對到新音軌上。最後套底、檢查。

錢主要燒在第四階段,因為問題的兩半在這裡打架。翻譯動的是詞,也改了長度。德語比英語長,日語更短,重音落的地方也不一樣。音軌送過來時帶著一套節奏,而原來那場表演從來沒按這套節奏設計過。總得有人把一張正在發英語音素的嘴,和一條在講葡萄牙語的音軌對上。

通常的解法是再找一家供應商。配音公司管聲音,嘴型公司管臉。各有各的排程,各有各的檔案格式,對「交付」的理解也各不相同。兩家之間夾著一道套底工序,沒人給它報價,所有人都為它付錢。

把第四和第五階段合起來,等於去掉一家供應商。這比加一個功能大得多。

這個介面意味著什麼

Dub & Sync 拿影片當輸入,還回影片。這個框定比模型本身更重要。

嘴型同步單獨做產品的時候,你餵它一段影片和一個音訊檔,它還你一段換了嘴的影片。單位是一個定死的素材,上游任何改動都得從頭再來。嘴型同步放進配音裡面,單位就成了一整個在地化任務,系統幹活的時候能把腳本、聲音和臉放在同一處。

後一種框定能做到前一種做不到的事:把方向倒過來,讓譯文去遷就表演。如果你知道一張嘴必須在固定的影格數裡說完一句話,這句話就可以重寫。專業配音做了幾十年,管這叫「適配」,它決定一版配音聽起來是被翻譯過的,還是被寫出來的。

ElevenLabs 沒說 Dub & Sync 做不做適配,而這正是該問的問題。不做,這產品只是把交接加快了。做了,它就是另一份工作。

過去靠意外存在的品質關卡

把工作分給兩家公司,有個被低估的好處:交接就是檢查點。音訊送去對嘴型之前有人看一眼,成片發出去之前有人看一眼臉。兩家供應商意味著兩個時刻,活人有機會發現第三句台詞錯了。

流程壓成一次跑完,這兩個時刻就都沒了。每個一體化工具都在做這筆交易。檢查需要在新流程裡重新找個位置。

配音裡真正要緊的檢查很具體。聲音和原說話者的年齡、語域、語速對得上嗎?每個短語開頭和結尾的嘴型,落在正確的音節上了嗎,這兩處是不同步最容易被看見的地方。情緒走向還在嗎,還是每種語言出來都是同一種溫和的熱情?最後一條是合成語音的通病,也是任何嘴型指標都抓不到的。

這件事真正影響到誰

三種人,各算各的帳。

代理商要把客戶的投放鋪到八個市場,現在的預算表裡配音一行、嘴型一行。合成一行,省的是錢也是工期,而工期比錢要緊,因為投放日期不會挪。

第二種是做課程和培訓影片的人。他們一直在重錄,每重錄一次,每種語言都得重新配一遍。影片既是輸入也是輸出的流程,能讓第五版改稿便宜下來,第一版那樣的高價不用再付一次。

第三種人才是讓人該緊張的。做表演型內容的人,演員的臉就是產品,現在他們手上有個工具,能用演員不會說的語言改寫這張臉說的話。出來的東西夠像,問題就不再是技術問題了。

底下壓著的授權問題

配音現在是對一個人的嘴做剪輯。這話從嘴型工具出現那天起就是真的,但那時候工具是分開的,彆扭,很容易被歸到後期裡。折進一個上傳一次、還回一個檔案的配音產品之後,同一個操作變成了日常。

多數標準藝人合約涵蓋配成其他語言這件事。涵蓋表演者臉部合成重動的少一些,提到聲音也是合成時該怎麼辦的更少。2023 年寫下的合約給了「配音權」,大概沒想到嘴會被一格一格重新產生,去對齊一條複製出來的聲音。

我不是在說工具是問題。問題是紙面沒跟上,而片廠出貨前查的就是紙面。如果你在做面向多個市場的藝人內容,這個月最實際的動作是在授權書裡加一段:同意合成聲音與合成臉部重動,按地區列,帶期限。

價格會落在哪裡

ElevenLabs 沒有公布 Dub & Sync 的價格。發布週這樣很正常,可這也正是買家唯一需要的數字。

估算的方法是給它取代的東西定價。往一個中等規模的語言市場配一分鐘專業配音,把適配、選角、錄音室時間和品檢都算進去,是幾百美元。從專門做嘴型的供應商那裡買一分鐘,便宜一些,但要多排一個隊。Dub & Sync 落在兩者之間,贏的是工期。落在嘴型那一檔附近,贏的是全部。

這個產品押的是協調。多數買家從來沒有為手藝付過錢,他們付的是協調,而協調現在成了軟體。

Adobe 把合作廠商的影片模型放進 Premiere,押的是同一件事。Krea 把自家規矩寫進 agent 的記憶,也是。模型正在變得可以互換,交接不是。誰去掉一次交接,誰就留住客戶。

先測什麼

拿一條已經過審的成片,跑成三種你真能評價的語言,最好屋裡有母語者。盯著每個短語的頭兩秒看,嘴型最容易在這裡斷。然後再看最後兩秒。

邊界上嘴能撐住,這工具就能用。如果除了句子情緒轉向的那一刻之外到處都撐得住,你就找到了還需要人來做的那一塊,也知道了下個季度該為什麼留預算。

相關文章