騰訊混元 AuK：一個 1.5B 模型同時接管語音的生成與編輯

語音模型有增生的習慣。一個負責文字轉語音，一個負責降噪，第三個克隆聲音，第四個把歌手從伴奏裡分出來。騰訊混元團隊覺得這樣太麻煩，於是在 2026 年 9 月 9 日發布了 AuK：一個 1.5B 參數的基礎模型，把這些活兒全部收進同一個指令介面。程式碼與權重都以 MIT 授權開放，對一個這個量級的語音模型來說，這已經相當寬鬆。

它的主張一句話能說清。你給它一段音訊和一句描述你想要什麼的話。如果你想把手機裡的「明天上午開會」改成「週五下午開會」，你說出來，模型就重寫這段語音，不用重新錄音。如果你想讓同一個聲音聽起來更平靜，你要求更平靜的演繹。如果一條錄音中間夾著咳嗽，你讓它去掉咳嗽。

一個指令框，許多工種

任務清單很長，而且是刻意做平的。AuK 覆蓋零樣本文字轉語音，即用參考音訊的聲音朗讀新文本；覆蓋指令式語音合成，只給一段聲音描述、不需要參考錄音；在編輯方面，它可以替換、插入或刪除現有錄音裡的詞，還能重寫演唱錄音裡的歌詞，並盡量保留旋律與原聲。

再往上是聲學層。音高可以按半音升降，語速可以調整，輸出長度隨之變化。情緒和音色可以在不動內容的前提下改變，地域口音可以在保留說話人身份的同時去掉。模型還能處理非語言聲音，呼氣、笑聲、咳嗽都能增加或刪除，並且可以在正常說話與耳語之間轉換。

{{INLINE1}}

清理才是安靜的那部分

增強與分離補全了整套能力。AuK 可以給錄音降噪、去混響，按說話順序從多人對話裡分出某一個說話人，或者從混音裡提取人聲。最後這項過去往往需要單獨的軟體和一個耐心的工程師。把它和語音生成放進同一個介面，才是這裡真正的主張。

訓練數字支撐了這份雄心。團隊稱模型建立在約 30.3 億條指令與音訊實例之上，動用了約 195 萬小時的有效監督，覆蓋生成、編輯、增強與分離。在架構上，一個多模態語言模型提供語義條件，一個聯合訓練的 VAE 提供聲學條件，兩者餵養一個混合的整流流 Transformer。預訓練、生成與編輯的聯合訓練、面向開放式編輯的偏好優化、以及面向生成的獎勵強化學習，都在發布前完成。

為什麼蒸餾版值得單獨說

還有一個更快的版本叫 AuK-Flash，蒸餾到四步推理，且不使用無分類器引導。技術報告稱在同等條件下它比完整模型有 4.5 倍的掛鐘加速。這個細節重要，是因為語音編輯屬於那種第一版從來不是最終版的活兒。你改一個詞，聽一遍；改一下情緒，再聽一遍。如果每一遍都要一分鐘，工作流就沒法用，無論輸出多好。

生態支持到得很快，而這往往比跑分表更能說明真實的興趣。vLLM-Omni 與 SGLang-Omni 提供了首日支持，Apple 晶片上有了 MLX 推理，audio.cpp 整合讓 GGUF 離線推理成為可能，還有官方 ComfyUI 節點。1.5B 的模型小到可以自託管，圍繞它的社群工具讓這件事變得具體，而不只是理論上成立。

授權改變了什麼

MIT 授權值得單獨一段。許多最強的語音成果是在限制商用、或按地區劃線的條款下發布的。程式碼與權重都寬鬆，降低了小工作室、播客剪輯師和本地化團隊的門檻，他們本來永遠無法為一個配音工具買單席位授權。這也意味著模型可以進入其他產品，而無需一場比整合本身還長的法務審查。

需要提醒的是覆蓋範圍。AuK 的能力集中在中英文，所以做其他語言的團隊應該先測試再規劃。聲音克隆和錄音編輯還牽扯到任何授權都無法解決的同意問題。穩妥的習慣與團隊所呼籲的一致：使用你有權使用的素材。

配音工作台

想想它瞄準的是誰。一個本地化團隊有完成品影片，需要把它做成另外五種語言。過去的流程又貴又慢：約配音演員，逐句錄製，對時間軸，翻譯改動一個詞就得再付一輪錢。如果模型能接住原始表演，換掉詞句同時保住聲音和節奏，這條流水線的大部分就塌縮成一次編輯。

播客人有同一個問題的輕量版。主持人讀錯一句、說錯一個數字，或者想讓同一期節目以更平靜的語氣面向另一群聽眾。重錄是顯而易見的答案，也是錯誤的答案。在原本的錄音上就地編輯，保留房間聲和麥克風的質感，才是這個工具承諾的東西。它能否在一整期節目上兌現，而不只是一段演示，是懸而未決的問題，但需求本身沒有疑問。

還有一類容易被忽略的受眾：開發語音功能的開發者。因為 AuK 以 1.5B 參數運行且權重開放，它可以被嵌進應用，而不是按次呼叫。小團隊可以上線一個語音功能，把成本固定下來，並且不必把使用者音訊發給第三方。對於隱私敏感的產品，最後這一點可能就是決定性的。

它可能出錯的地方

如果模型犯小錯誤，編輯音訊就是一件沒處躲的事，因為音訊不給你藏身之地。一個生成出來的詞哪怕咬合完美，只要它前面的呼吸聲沒了，或者房間聲變了半秒，它就會凸顯出來。語音編輯的成敗在接縫，而接縫恰恰是模型容易打滑的地方。團隊自己的偏好優化和強化學習階段就是衝著這一點去的，這是好跡象，但只有持續使用才能看出接縫是否真的消失。

還有一個隨每個可克隆模型而來的同意問題。能修好主持人讀錯那句的工具，同樣能用他自己的聲音把話塞進他嘴裡，而且不留痕跡。AuK 的授權沒有解決這一點，也沒有任何授權能解決。責任落回操作工具的人身上，而處理得好的團隊，會在功能之前先把同意流程建起來。

真正該帶走的東西

這裡有意思的動作不是又多了一個語音模型，而是把生成和編輯當成同一個問題。對大多數真實工作來說，錄音早就存在，只需要幾處改動。把「說這句」和「改那個詞」當成同一條曲線上的兩點，契合剪輯師真實的思考方式。任務面之廣，才讓統一介面不只是口號：會說話的那個模型，同樣能清理、分離並改變聲音。

實用的建議是先測編輯那一側，用你自己那些雜亂的音訊，再談圍繞它做規劃。生成是所有人都在演示的部分，編輯才是決定這個模型能否在真實工作流裡佔到位置的部分。如果它在編輯上扛住了，小體積、寬鬆授權、快速蒸餾推理這三件事合在一起，會讓 AuK 成為今年更好用的開源語音發布之一。