腾讯混元 AuK：一个 1.5B 模型同时接管语音的生成与编辑

语音模型有增生的习惯。一个负责文字转语音,一个负责降噪,第三个克隆声音,第四个把歌手从伴奏里分出来。腾讯混元团队觉得这样太麻烦,于是在 2026 年 9 月 9 日发布了 AuK:一个 1.5B 参数的基础模型,把这些活儿全部收进同一个指令界面。代码和权重都以 MIT 协议开放,对于一个这个量级的语音模型来说,这已经相当宽松。

它的主张一句话能说清。你给它一段音频和一句描述你想要什么的话。如果你想把「明天上午开会」改成「周五下午开会」,你说出来,模型就重写这段语音,不用重新录音。如果你想让同一个声音听起来更平静,你要求更平静的演绎。如果一条录音中间夹着咳嗽,你让它去掉咳嗽。

一个指令框,许多工种

任务清单很长,而且是刻意做平的。AuK 覆盖零样本文字转语音,即用参考音频的声音朗读新文本;覆盖指令式语音合成,只给一段声音描述、不需要参考录音;在编辑方面,它可以替换、插入或删除现有录音里的词,还能重写演唱录音里的歌词,并尽量保留旋律与原声。

再往上是声学层。音高可以按半音升降,语速可以调整,输出长度随之变化。情绪和音色可以在不动内容的前提下改变,地域口音可以在保留说话人身份的同时去掉。模型还能处理非语言声音,呼气、笑声、咳嗽都能增加或删除,并且可以在正常说话与耳语之间转换。

{{INLINE1}}

清理才是安静的那部分

增强与分离补全了整套能力。AuK 可以给录音降噪、去混响,按说话顺序从多人对话里分出某一个说话人,或者从混音里提取人声。最后这项过去往往需要单独的软件和一个耐心的工程师。把它和语音生成放进同一个界面,才是这里真正的主张。

训练数字支撑了这份雄心。团队称模型建立在约 30.3 亿条指令与音频实例之上,动用了约 195 万小时的有效监督,覆盖生成、编辑、增强与分离。在架构上,一个多模态语言模型提供语义条件,一个联合训练的 VAE 提供声学条件,两者喂养一个混合的整流流 Transformer。预训练、生成与编辑的联合训练、面向开放式编辑的偏好优化、以及面向生成的奖励强化学习,都在发布前完成。

为什么蒸馏版值得单独说

还有一个更快的版本叫 AuK-Flash,蒸馏到四步推理,且不使用无分类器引导。技术报告称在同等条件下它比完整模型有 4.5 倍的挂钟加速。这个细节重要,是因为语音编辑属于那种第一版从来不是最终版的活儿。你改一个词,听一遍;改一下情绪,再听一遍。如果每一遍都要一分钟,工作流就没法用,无论输出多好。

生态支持到得很快,而这往往比跑分表更能说明真实的兴趣。vLLM-Omni 与 SGLang-Omni 提供了首日支持,Apple 芯片上有了 MLX 推理,audio.cpp 集成让 GGUF 离线推理成为可能,还有官方 ComfyUI 节点。1.5B 的模型小到可以自托管,围绕它的社区工具让这件事变得具体,而不只是理论上成立。

许可证改变了什么

MIT 许可证值得单独一段。许多最强的语音成果是在限制商用、或按地区划线的条款下发布的。代码和权重都宽松,降低了小工作室、播客剪辑师和本地化团队的门槛,他们本来永远无法为一个配音工具买单席位授权。这也意味着模型可以进入其他产品,而无需一场比集成本身还长的法务审查。

需要提醒的是覆盖范围。AuK 的能力集中在中英文,所以做其他语言的团队应该先测试再规划。声音克隆和录音编辑还牵扯到任何许可证都无法解决的同意问题。稳妥的习惯与团队所呼吁的一致:使用你有权使用的素材。

配音工作台

想想它瞄准的是谁。一个本地化团队有完成品视频,需要把它做成另外五种语言。过去的流程又贵又慢:约配音演员,逐句录制,对时间轴,翻译改动一个词就得再付一轮钱。如果模型能接住原始表演,换掉词句同时保住声音和节奏,这条流水线的大部分就塌缩成一次编辑。

播客人有同一个问题的轻量版。主持人读错一句、说错一个数字,或者想让同一期节目以更平静的语气面向另一群听众。重录是显而易见的答案,也是错误的答案。在原本的录音上就地编辑,保留房间声和话筒的质感,才是这个工具承诺的东西。它能否在一整期节目上兑现,而不只是一段演示,是悬而未决的问题,但需求本身没有疑问。

还有一类容易被忽略的受众:开发语音功能的开发者。因为 AuK 以 1.5B 参数运行且权重开放,它可以被嵌进应用,而不是按次调用。小团队可以上线一个语音功能,把成本固定下来,并且不必把用户音频发给第三方。对于隐私敏感的产品,最后这一点可能就是决定性的。

它可能出错的地方

如果模型犯小错误,编辑音频就是一件没处躲的事,因为音频不给你藏身之地。一个生成出来的词哪怕咬合完美,只要它前面的呼吸声没了,或者房间声变了半秒,它就会凸显出来。语音编辑的成败在接缝,而接缝恰恰是模型容易打滑的地方。团队自己的偏好优化和强化学习阶段就是冲着这一点去的,这是好迹象,但只有持续使用才能看出接缝是否真的消失。

还有一个随每个可克隆模型而来的同意问题。能修好主持人读错那句的工具,同样能用他自己的声音把话塞进他嘴里,而且不留痕迹。AuK 的许可证没有解决这一点,也没有任何许可证能解决。责任落回操作工具的人身上,而处理得好的团队,会在做功能之前先把同意流程建起来。

真正该带走的东西

这里有意思的动作不是又多了一个语音模型,而是把生成和编辑当成同一个问题。对大多数真实工作来说,录音早就存在,只需要几处改动。把「说这句」和「改那个词」当成同一条曲线上的两点,契合剪辑师真实的思考方式。任务面之广,才让统一界面不只是口号:会说话的那个模型,同样能清理、分离并改变声音。

实用的建议是先测编辑那一侧,用你自己那些杂乱的音频,再谈围绕它做规划。生成是所有人都在演示的部分,编辑才是决定这个模型能否在真实工作流里占到位置的部分。如果它在编辑上扛住了,小体积、宽松许可、快速蒸馏推理这三件事合在一起,会让 AuK 成为今年更好用的开源语音发布之一。