Tencent Hunyuan AuK: un modello da 1,5B per generare e modificare la voce

I modelli vocali hanno la tendenza a moltiplicarsi. Uno fa sintesi, uno riduce il rumore, un terzo clona una voce, un quarto separa un cantante dall'accompagnamento. Al team Hunyuan di Tencent è sembrato troppo, e il 9 settembre 2026 ha pubblicato AuK: un modello di base da 1,5 miliardi di parametri che riunisce tutte quelle attività dietro un'unica interfaccia a istruzioni. Codice e pesi sono sotto licenza MIT, cosa insolitamente permissiva per un modello vocale di questa taglia.

La promessa si dice in una frase. Si dà un clip audio e una frase che descrive cosa si vuole. Per trasformare «riunione domani mattina» in «la riunione è venerdì pomeriggio», lo si dice e il modello riscrive la voce senza registrare di nuovo. Se si vuole la stessa voce più calma, si chiede una lettura più calma. Se una tosse si infila a metà di una take, si chiede di toglierla.

Un solo campo di istruzioni, molti mestieri

L'elenco dei compiti è lungo e volutamente piatto. AuK copre la sintesi da zero, in cui legge un testo nuovo con la voce di un clip di riferimento. Copre la sintesi guidata da istruzioni, dove basta una descrizione scritta e non serve audio di riferimento. Sul fronte della modifica, può sostituire, inserire o eliminare parole in una registrazione esistente, e riscrivere il testo di una take cantata cercando di preservare melodia e voce originale.

Sopra c'è il livello acustico. L'intonazione si alza o si abbassa per semitoni. Il ritmo di parlato si regola, con la durata in uscita che scala di conseguenza. Emozione e timbro si cambiano senza toccare le parole, e un accento regionale si toglie senza perdere l'identità di chi parla. Gestisce anche i suoni non verbali: respiri, risate e tosse si aggiungono o si rimuovono, e converte tra parlato normale e sussurro.

{{INLINE1}}

La pulizia è la parte silenziosa

Miglioramento e separazione completano il quadro. AuK riduce rumore e riverbero, isola un parlante in una conversazione per ordine di intervento, o estrae una voce da un mix. Quest'ultima capacità richiedeva prima uno strumento separato e un ingegnere paziente. Metterla nella stessa interfaccia della generazione vocale è la vera affermazione.

I numeri di addestramento sostengono l'ambizione. Secondo il team, il modello è stato costruito su circa 3,03 miliardi di istanze istruzione-audio, da circa 1,95 milioni di ore di supervisione effettiva tra generazione, modifica, miglioramento e separazione. In architettura, un modello linguistico multimodale fornisce il condizionamento semantico, un VAE addestrato congiuntamente fornisce quello acustico, e i due alimentano un transformer ibrido a flusso rettificato. Pretraining, addestramento congiunto di generazione e modifica, ottimizzazione delle preferenze per la modifica aperta e apprendimento per rinforzo basato su ricompensa avvengono prima del rilascio.

Perché conta il fratello distillato

Esiste una variante più veloce, AuK-Flash, distillata per inferenza in quattro passi e senza guida libera da classificatore. Il rapporto la colloca a un'accelerazione di 4,5 volte sul modello completo a parità di condizioni. Il dettaglio conta perché la modifica vocale è uno di quei lavori in cui il primo risultato utile non è mai quello finale. Si cambia una parola, si ascolta, si cambia l'emozione, si ascolta ancora. Se ogni passata costa un minuto, il flusso è inutilizzabile, per quanto buona sia l'uscita.

Il supporto dell'ecosistema è arrivato in fretta, cosa che spesso segnala un interesse reale più di una tabella di punteggi. vLLM-Omni e SGLang-Omni hanno aggiunto supporto dal primo giorno, c'è inferenza MLX su Apple Silicon, un'integrazione con audio.cpp consente inferenza GGUF offline, e ci sono nodi ComfyUI ufficiali. Un modello da 1,5B è abbastanza piccolo da autoospitare, e gli strumenti della community lo rendono concreto invece che teorico.

Cosa cambia la licenza

La licenza MIT merita un paragrafo suo. Molti dei lavori vocali più forti sono usciti con condizioni che limitano l'uso commerciale o escludono intere regioni. Termini permissivi su codice e pesi abbassano la barriera per piccoli studi, montatori di podcast e team di localizzazione che non avrebbero mai potuto giustificare un contratto per postazione per uno strumento di doppiaggio. Significano anche che il modello può entrare in altri prodotti senza una revisione legale più lunga dell'integrazione.

La riserva riguarda la copertura. AuK si concentra su cinese e inglese, quindi i team di altre lingue dovrebbero provare prima di pianificare. Clonazione vocale e modifica delle registrazioni sollevano inoltre questioni di consenso che nessuna licenza risolve. L'abitudine sensata è quella che chiede il team: usare solo materiale su cui si hanno i diritti.

Il banco di doppiaggio

Si pensi a chi è rivolto. Un team di localizzazione ha un video finito e deve portarlo in altre cinque lingue. Il vecchio processo è caro e lento: ingaggiare doppiatori, registrare ogni riga, allineare i tempi, pagare un altro giro quando una traduzione cambia una parola. Se un modello riprende l'interpretazione originale e cambia le parole mantenendo voce e ritmo, gran parte di quella catena si riduce a una modifica.

I podcaster hanno una versione leggera dello stesso problema. Un conduttore legge male una frase, sbaglia un numero, o vuole lo stesso episodio con un tono più calmo per un altro pubblico. Riregistrare è la risposta ovvia e quella sbagliata. Modificare la take sul posto, conservando il suono della stanza e il carattere del microfono, è ciò che promette lo strumento. Che riesca su un episodio intero e non su un clip dimostrativo resta la domanda, ma il bisogno non è in dubbio.

C'è anche un pubblico facile da trascurare: gli sviluppatori che costruiscono funzioni vocali. Poiché AuK gira a 1,5B con pesi aperti, può essere integrato in un'app invece di essere noleggiato a chiamata. Una piccola squadra può rilasciare una funzione vocale, fissare i costi ed evitare di inviare l'audio dell'utente a terzi. Nei prodotti attenti alla privacy, quest'ultimo punto può essere decisivo.

Dove può andare storto

Se il modello commette piccoli errori, modificare l'audio è una faccenda senza nascondigli, perché il suono non offre riparo. Una parola perfettamente inserita salta all'occhio se manca il respiro che la precede o se il suono della stanza cambia per mezzo secondo. La modifica vocale vive o muore sulle giunture, e le giunture sono proprio dove i modelli scivolano. Le fasi di ottimizzazione delle preferenze e di apprendimento per rinforzo del team puntavano lì, buon segno, ma solo l'uso continuato dirà se le giunture spariscono.

C'è anche la questione del consenso che accompagna ogni modello capace di clonare. Lo stesso strumento che corregge la frase sbagliata di un conduttore può mettergli in bocca parole, con la sua stessa voce, senza lasciare traccia. La licenza di AuK non lo risolve, e nessuna licenza potrebbe. La responsabilità torna su chi opera lo strumento, e i team che lo gestiscono bene costruiscono il processo di consenso prima della funzione.

Cosa portare davvero a casa

La mossa interessante non è che esista un altro modello vocale. È che generazione e modifica sono state trattate come un unico problema. Nella maggior parte del lavoro reale la registrazione esiste già e serve solo qualche ritocco. Trattare «di' questo» e «correggi quella parola» come due punti di una stessa curva corrisponde a come pensano i montatori. È l'ampiezza dei compiti a rendere l'interfaccia unificata più di uno slogan.

Il consiglio pratico è provare prima il lato modifica, sul proprio audio disordinato, prima di pianificare. La generazione è la parte che tutti mostrano; la modifica deciderà se il modello merita un posto in un flusso reale. Se regge lì, dimensioni contenute, licenza permissiva e inferenza distillata veloce rendono AuK uno dei rilasci vocali aperti più utilizzabili dell'anno.