← 返回博客
Ai预计阅读 9 分钟

Drama 3 把配音写成了表演指导

发布于 2026年11月9日
Drama 3 把配音写成了表演指导

Fish Audio 在 10 月 13 日发布 Drama 3,大多数人第一眼注意到的是体量:350 亿参数,MoE 架构,每个 token 大约激活 30 亿。第二眼是那个跑分,发音鲁棒性 93.2%,上一代 S2.1 Pro 是 88.1%,据说足以把一款开放权重模型送上那张榜的第一位。

这两件事值得写一段,也就一段。真正改变配音工作方式的,是输入格式。

你不再输入一句话,你写的是一条场景提示

旧的文本转语音只有一个任务:吃进文字,吐出音频。情绪这件事,你得靠换音色、微调语速、反复掷骰子,直到某一条听起来对了。

Drama 3 用方括号接收指令,白话写,直接嵌在台词里。Fish 自己的例子在一行里放了四个:先撑着说没事,然后一个发抖的吸气,再轻轻笑一下,最后掉进耳语。字一个没改。让这句词能演的,全在括号里。

还有第二层。成对的标签可以包住单个词,于是一段可以保持平淡,里面的某一个短语却能带气声。叹气、笑、停顿都落在该落的位置,不用在后期再贴进去。

A condenser microphone in a shock mount inside a vocal booth, waveform light on the grille

如果你导过真人演员,这套东西看着很熟。就是一份带页边批注的剧本。如果你只用过 TTS,前十分钟会觉得别扭,之后你就不想用别的方式了。

一次生成,多人对话

另一个结构性变化是单次生成最多能容纳 16 个说话人。不是十六段音频拼起来——是一次跑完,音色彼此分得开,而且按 Fish 的说法,会回应彼此的语气。

但凡用零散 TTS 片段拼过对话场景的人,都知道这省掉了什么。你不用花一下午去对齐第 4 句和第 5 句的底噪,也不用因为一个音色飘了就重录整段对话。长内容是一回事:音色和节奏在整份稿子里保持一致,而不是每几千字重置一次。

83 种语言,一个模型,没有按语言分的接口。支持在同一个场景里换语言,这一点对要把同一份内容本地化到四个市场的人最要紧。

它把「改主意」的成本压到了多少

这里有个不太张扬的经济账。传统录音棚里,改一个词意味着重录这一句,而重录这一句意味着节奏、气息、情绪走向都会轻微位移。于是你要么接受一道接缝,要么重来整场。

Drama 3 带了一个音频修补功能,可以只重新生成选中的片段,不动周围那段表演。理论上,改一个词的成本会被压到接近零。

实际上,发布时这个功能是锁着的。关于这次发布的报道说,单字修补还在邀请制测试,公开的编辑 API 只是计划中。整场公告里最值钱的功能,你多半还用不了。Fish 也承认同一个指令在不同 take 之间会出不同结果,建议多生成几条再挑一条——这说明它仍然是个需要人耳的工具,不是一个按钮。

三件会让你卡住的事

硬件。FP8 下,一张 NVIDIA 卡大约需要 48GB 显存。不支持 CPU,不支持 Apple MPS,不支持 AMD。社区里有人在一天之内把它压到 4-bit 跑在 Mac 上,但那是折腾,不是生产。对多数团队来说,现实路径是 API 或者平台集成。

授权。权重放在 Hugging Face 上,用的是 Fish Audio Community License v1.0。年收入 50 万美元以下免费,超过就得谈。如果你想把它当成托管语音服务转卖,那不管你收入多少都是另一份协议。

你没法核对的跑分。93.2% 这个数字和「开放权重里第一」的排位,多数读者都是二手看到的。榜单页面、评测方法、模型卡并不都在同一个地方,ElevenLabs 也没有回应。发音鲁棒性是一件真实可测的事——人名、数字、外来词第一次就读对——所以方向可以信,具体名次先当临时结论。

想真上手该怎么试

最快的是托管 API。把文本和一个克隆音色的 reference_id 发过去,选格式和码率,音频回来。标价大约每百万字符 15 美元,10 月和 11 月有一段促销价。按这个价,一期 30 分钟的播客大概四毛钱,这种数字会让人不再把配音当固定成本。

如果你要权重,先看模型卡,对着 FP8 的要求核一下显存,在拿它做产品之前把授权读完。35B 不是宣传数字,它是这东西需要租卡而不是用笔记本的原因。

按这个顺序测

如果你只有一个小时,把它花在失败案例上,别花在展示用的漂亮句子上。

先用一句同时含人名、数字和缩写的句子——这正是让 TTS 引擎打结的形状。然后加一条括号指令,看这个修正在那个难词上还成不成立。如果名字还是读对了,那发音这个说法就真在起作用。

接着把同一句跑五遍,听差异。Fish 说不同 take 结果会不一样,建议多生成几条。这是实话,也意味着你的流程里得有一个挑选环节。如果五条差得很远,那这个指令就是建议,不是控制。

然后再试一段两人对话,其中一个人打断另一个人。多人生成容易演示,难落地,因为打断要求模型去建模重叠,而不是轮流说话。多数多音色系统就是在这里听起来像围读,而不像一场戏。

最后,在场景中途换语言。跨语言的一致性,是本地化时真正要紧的功能,也是没人贴示例的那一个。

把崩掉的地方记下来。这份清单比任何跑分百分比都有用,因为它告诉你哪些活可以交给这个模型,哪些还得留在录音棚里。

为什么它比那个分数更重要

语音生成做旁白,已经够用了大概两年。它一直不够用的是表演——念一句词和真的说出这句话之间的差别。这个缺口过去是靠录音棚里的真人导演,和靠剪辑师绕开那些平掉的 take 来补的。

Drama 3 没有补上这个缺口。它把控制权挪进了文本里,这意味着写稿的人现在也是指导这次演绎的人。对播客、游戏、有声书或者译制短片来说,这是「谁来做、什么时候做」的一次真实位移。

这个工具没做完。最好的功能隔着候补名单,硬件门槛高,跑分需要独立验证。但接口是对的,而接口往往才是留下来的那部分。

相关文章