Drama 3 把配音写成了表演指导

Fish Audio 在 10 月 13 日发布 Drama 3,大多数人第一眼注意到的是体量:350 亿参数,MoE 架构,每个 token 大约激活 30 亿。第二眼是那个跑分,发音鲁棒性 93.2%,上一代 S2.1 Pro 是 88.1%,据说足以把一款开放权重模型送上那张榜的第一位。
这两件事值得写一段,也就一段。真正改变配音工作方式的,是输入格式。
你不再输入一句话,你写的是一条场景提示
旧的文本转语音只有一个任务:吃进文字,吐出音频。情绪这件事,你得靠换音色、微调语速、反复掷骰子,直到某一条听起来对了。
Drama 3 用方括号接收指令,白话写,直接嵌在台词里。Fish 自己的例子在一行里放了四个:先撑着说没事,然后一个发抖的吸气,再轻轻笑一下,最后掉进耳语。字一个没改。让这句词能演的,全在括号里。
还有第二层。成对的标签可以包住单个词,于是一段可以保持平淡,里面的某一个短语却能带气声。叹气、笑、停顿都落在该落的位置,不用在后期再贴进去。

如果你导过真人演员,这套东西看着很熟。就是一份带页边批注的剧本。如果你只用过 TTS,前十分钟会觉得别扭,之后你就不想用别的方式了。
一次生成,多人对话
另一个结构性变化是单次生成最多能容纳 16 个说话人。不是十六段音频拼起来——是一次跑完,音色彼此分得开,而且按 Fish 的说法,会回应彼此的语气。
但凡用零散 TTS 片段拼过对话场景的人,都知道这省掉了什么。你不用花一下午去对齐第 4 句和第 5 句的底噪,也不用因为一个音色飘了就重录整段对话。长内容是一回事:音色和节奏在整份稿子里保持一致,而不是每几千字重置一次。
83 种语言,一个模型,没有按语言分的接口。支持在同一个场景里换语言,这一点对要把同一份内容本地化到四个市场的人最要紧。
它把「改主意」的成本压到了多少
这里有个不太张扬的经济账。传统录音棚里,改一个词意味着重录这一句,而重录这一句意味着节奏、气息、情绪走向都会轻微位移。于是你要么接受一道接缝,要么重来整场。
Drama 3 带了一个音频修补功能,可以只重新生成选中的片段,不动周围那段表演。理论上,改一个词的成本会被压到接近零。
实际上,发布时这个功能是锁着的。关于这次发布的报道说,单字修补还在邀请制测试,公开的编辑 API 只是计划中。整场公告里最值钱的功能,你多半还用不了。Fish 也承认同一个指令在不同 take 之间会出不同结果,建议多生成几条再挑一条——这说明它仍然是个需要人耳的工具,不是一个按钮。
三件会让你卡住的事
硬件。FP8 下,一张 NVIDIA 卡大约需要 48GB 显存。不支持 CPU,不支持 Apple MPS,不支持 AMD。社区里有人在一天之内把它压到 4-bit 跑在 Mac 上,但那是折腾,不是生产。对多数团队来说,现实路径是 API 或者平台集成。
授权。权重放在 Hugging Face 上,用的是 Fish Audio Community License v1.0。年收入 50 万美元以下免费,超过就得谈。如果你想把它当成托管语音服务转卖,那不管你收入多少都是另一份协议。
你没法核对的跑分。93.2% 这个数字和「开放权重里第一」的排位,多数读者都是二手看到的。榜单页面、评测方法、模型卡并不都在同一个地方,ElevenLabs 也没有回应。发音鲁棒性是一件真实可测的事——人名、数字、外来词第一次就读对——所以方向可以信,具体名次先当临时结论。
想真上手该怎么试
最快的是托管 API。把文本和一个克隆音色的 reference_id 发过去,选格式和码率,音频回来。标价大约每百万字符 15 美元,10 月和 11 月有一段促销价。按这个价,一期 30 分钟的播客大概四毛钱,这种数字会让人不再把配音当固定成本。
如果你要权重,先看模型卡,对着 FP8 的要求核一下显存,在拿它做产品之前把授权读完。35B 不是宣传数字,它是这东西需要租卡而不是用笔记本的原因。
按这个顺序测
如果你只有一个小时,把它花在失败案例上,别花在展示用的漂亮句子上。
先用一句同时含人名、数字和缩写的句子——这正是让 TTS 引擎打结的形状。然后加一条括号指令,看这个修正在那个难词上还成不成立。如果名字还是读对了,那发音这个说法就真在起作用。
接着把同一句跑五遍,听差异。Fish 说不同 take 结果会不一样,建议多生成几条。这是实话,也意味着你的流程里得有一个挑选环节。如果五条差得很远,那这个指令就是建议,不是控制。
然后再试一段两人对话,其中一个人打断另一个人。多人生成容易演示,难落地,因为打断要求模型去建模重叠,而不是轮流说话。多数多音色系统就是在这里听起来像围读,而不像一场戏。
最后,在场景中途换语言。跨语言的一致性,是本地化时真正要紧的功能,也是没人贴示例的那一个。
把崩掉的地方记下来。这份清单比任何跑分百分比都有用,因为它告诉你哪些活可以交给这个模型,哪些还得留在录音棚里。
为什么它比那个分数更重要
语音生成做旁白,已经够用了大概两年。它一直不够用的是表演——念一句词和真的说出这句话之间的差别。这个缺口过去是靠录音棚里的真人导演,和靠剪辑师绕开那些平掉的 take 来补的。
Drama 3 没有补上这个缺口。它把控制权挪进了文本里,这意味着写稿的人现在也是指导这次演绎的人。对播客、游戏、有声书或者译制短片来说,这是「谁来做、什么时候做」的一次真实位移。
这个工具没做完。最好的功能隔着候补名单,硬件门槛高,跑分需要独立验证。但接口是对的,而接口往往才是留下来的那部分。
相关文章
一份社区维护的点击表,关掉了国产 Android 系统里的广告
它不动系统,不解锁,不刷机,只把厂商本来就留出来的开关一个个拨过去。代价是这份名单得一直有人续写。
GPT Image 2.6 守住 token 价格,账单却涨了
GPT Image 2.6 沿用了 2.5 的全部 token 费率,单张图却更贵,因为更多的活现在花在输出 token 上。上线十一天,定价结构说的比排行榜更多。
有人从外部重建了 IDM,并写下了自己没有碰过的部分
Mister Download Manager 用 Rust 重写了 Internet Download Manager 的下载流程,声称速度快 5 倍、支持 86 种语言。更值得细读的,是它解释如何在不复制任何代码的前提下完成重写的那一段。
Rune 是一个 Rust UI 框架,设计初衷是让 agent 能检查自己的工作
Rune 能无头渲染、导出元素树并接受脚本化输入,这让编码 agent 拿到截图永远给不了的东西,一个可 diff 的信号。这个框架仍是预发布版本,不接受 pull request。