Drama 3 把配音從念稿變成一場表演指導

Fish Audio 在 10 月 13 日發布 Drama 3,多數人第一個注意到的是規模:350 億參數,混合專家架構,每個 token 大約啟用 30 億。第二個是基準數字,發音穩健度 93.2%,比前一版 S2.1 Pro 的 88.1% 高,據稱足以讓一個開放權重模型站上那張表的第一名。
這兩件事值得一段,但也就一段。真正改變配音工作方式的,是輸入格式。
你不再輸入一句話,而是寫一段場景註記。
舊的文字轉語音只有一個任務:吃進字元,吐回音訊。情緒是你靠換一個聲音、微調語速、不斷重擲骰子直到某一版聽起來對了,才追到的東西。
Drama 3 用中括號接收指示,白話文,直接夾在腳本裡。Fish 自己的範例在一行裡放了四個:先撐住、說沒事,然後一個顫抖的吸氣,再一聲輕笑,最後掉進氣音。字從來沒變。讓這句台詞可以演的一切,都住在括號裡。
還有第二層。成對的標籤可以包住個別詞語,所以一段話可以保持平鋪,而其中某個片語可以轉成氣聲。嘆氣、笑聲、停頓放在該放的位置,而不是事後剪接時貼上去。

如果你導過真人演員,這看起來會很熟悉。這就是一份帶邊註的劇本。如果你只用過 TTS,這大概會是一種很奇怪的工作方式,持續十分鐘左右,然後它就變成你唯一想用的方式。
一次生成,多個說話者
另一個結構性改變是,單次生成最多可以容納 16 位說話者。不是 16 段音檔拼接——是一次執行,聲音保持各自可辨,而且據 Fish 說,會回應彼此的語氣。
用過分開的 TTS 音檔拼一場對話戲的人,都知道這省掉了什麼。你不用再花一個下午把第 4 句和第 5 句的室內底噪對齊,也不用因為某個聲音漂掉就重錄整段對話。長篇一致性也是同一件事:聲音和節奏在整份腳本裡維持住,而不是每幾千字就重置一次。
83 種語言,一個模型,沒有分語言的端點。場景內切換語言也支援,這對要把同一份內容本地化成四個市場的人來說,才是重點。
它對「改變主意」的成本做了什麼
這裡有個安靜的經濟論點。在傳統錄音室裡,改一個字就意味著重錄那一句,而重錄那一句意味著時間感、呼吸、情緒弧線全都微微位移。於是你不是接受一道接縫,就是整場重來。
Drama 3 附帶一個音訊修補功能,可以重新生成選定的片段,而不動到周圍的表演。理論上,這把改一個字的成本壓到接近零。
實務上,發表時它是鎖住的。關於這次發布的報導指出,單字修補還在邀請制測試,公開的編輯 API 只是「規劃中」。這是整份公告裡最有價值的功能,而你大概還用不到。Fish 也承認同一個指示在不同次生成會得到不同結果,並建議多生幾個再挑一個——這說明它仍然是一個需要人耳的工具,不是一鍵按鈕。
會擋住你的三件事
硬體。FP8 下,你需要一張 NVIDIA 顯卡上大約 48GB 的 VRAM。沒有 CPU、沒有 Apple MPS、沒有 AMD。社群裡有人在一天內把它壓到 4-bit 塞進 Mac,但那是玩票,不是生產。對多數團隊來說,現實的路是 API 或平台整合。
授權。權重放在 Hugging Face,採 Fish Audio 社群授權 v1.0。年營收 50 萬美元以下免費。超過就要談。如果你想把它當成託管的語音服務轉售,那不管營收多少,都是另一份協議。
你查不到的基準。93.2% 這個數字和「開放權重第一」的排名,對多數讀者來說都是二手資訊。排行榜頁面、方法論、模型卡沒有全部放在同一個地方,而 ElevenLabs 沒有回應。發音穩健度是真實且可量測的東西——人名、數字、外語詞第一次就唸對——所以把方向當成可信,把確切排名當成暫定。
實際怎麼試
最快的路是託管 API。送出文字加一個複製聲音的 reference_id,選格式和位元率,拿回音訊。牌價大約是每百萬字元 15 美元,10 月和 11 月有一部分時間在跑促銷價。以那個費率算,一支 30 分鐘的 podcast 大概落在 40 美分左右,這種數字會讓你不再把聲音當成固定成本。
如果你要權重,先從模型卡開始,對照 FP8 需求檢查你的 VRAM,然後在拿它做產品之前讀完授權。35B 這個規模不是行銷數字;它是為什麼這東西需要租一張卡,而不是一台筆電。
按這個順序測
如果你有一小時,把它花在失敗案例上,而不是展示台詞。
先從一個句子開始,同一個子句裡含一個人名、一個數字和一個縮寫——那正是讓 TTS 引擎踉蹌的形狀。然後加一個括號指示,看修正能不能撐過那個難字。如果人名還是唸對,那發音的說法就確實在做某件事。
接著,同一句跑五次,聽變異有多大。Fish 說不同次生成結果會不一樣,並建議多生幾個。這很誠實,也意味著你的流程需要一個挑選步驟。如果五次差異大到誇張,那指示只是建議,不是控制。
然後試一段兩人對話,其中一個角色打斷另一個。多說話者生成很容易 demo,很難落地,因為打斷要求模型去模擬重疊,而不是輪流發言。多數多聲音系統就是在這裡聽起來像讀本,而不是一場戲。
最後,在場景中途切換語言。跨語言切換後的一致性,是你在做本地化時真正重要的功能,也是沒有人會貼範例的那一個。
把壞掉的地方記下來。那張清單比任何基準百分比都有用,因為它告訴你哪些工作該交給這個模型,哪些該留在錄音間。
為什麼這一版的意義大於分數
語音生成當旁白用,大概兩年來都夠好了。它一直不夠好的,是表演——念一句台詞和真正意味著它之間的差別。那道差距過去是由錄音間裡的真人導演補上,由剪接師繞過平淡的 take 補上。
Drama 3 沒有補上那道差距。它把控制項移進文字裡,意思是寫腳本的人現在也成了導讀的人。對 podcast、遊戲、有聲書或配音短片來說,這是誰在做這件事、什麼時候做的實質轉變。
這個工具還沒完成。最好的功能在候補名單後面,硬體門檻很高,基準也需要獨立驗證。但介面方向是對的,而介面通常是最容易留下來的部分。