Tencent Hunyuan AuK: um modelo de 1,5B para gerar e editar voz

Os modelos de voz têm o hábito de se multiplicar. Um faz texto em fala, outro reduz ruído, um terceiro clona uma voz, um quarto separa um cantor do acompanhamento. A equipe Hunyuan da Tencent achou isso demais e, em 9 de setembro de 2026, publicou o AuK: um modelo base de 1,5 bilhão de parâmetros que reúne todas essas tarefas atrás de uma única interface de instruções. Código e pesos estão sob licença MIT, algo incomumente permissivo para um modelo de voz desse porte.

A proposta se explica em uma frase. Você entrega um clipe de áudio e uma frase descrevendo o que quer. Para transformar «reunião amanhã de manhã» em «a reunião é sexta à tarde», você diz, e o modelo reescreve a fala sem regravar. Se quiser a mesma voz mais calma, pede uma leitura mais calma. Se uma tosse aparecer no meio de uma tomada, pede para removê-la.

Uma caixa de instruções, muitos ofícios

A lista de tarefas é longa e deliberadamente plana. O AuK cobre a síntese do zero, em que lê um texto novo com a voz de um clipe de referência. Cobre a síntese guiada por instruções, em que basta uma descrição escrita e nenhum áudio de referência é necessário. Na edição, pode substituir, inserir ou remover palavras de uma gravação existente, e reescrever a letra de uma tomada cantada tentando preservar a melodia e a voz original.

Acima vem a camada acústica. O tom sobe ou desce por semitons. A velocidade da fala é ajustável, com a duração da saída escalando junto. Emoção e timbre podem mudar sem tocar nas palavras, e um sotaque regional pode ser removido sem perder a identidade de quem fala. Também lida com sons não verbais: respirações, risadas e tosses podem ser adicionadas ou removidas, e ele converte entre fala normal e sussurro.

{{INLINE1}}

A limpeza é a parte silenciosa

Melhoria e separação completam o conjunto. O AuK reduz ruído e reverberação, isola um falante numa conversa pela ordem de fala, ou extrai uma voz de uma mixagem. Essa última capacidade costumava exigir uma ferramenta separada e um engenheiro paciente. Colocá-la na mesma interface da geração de voz é a verdadeira afirmação.

Os números de treino sustentam a ambição. Segundo a equipe, o modelo foi construído sobre cerca de 3,03 bilhões de instâncias instrução-áudio, a partir de aproximadamente 1,95 milhão de horas de supervisão efetiva em geração, edição, melhoria e separação. Na arquitetura, um modelo de linguagem multimodal fornece o condicionamento semântico, um VAE treinado em conjunto fornece o acústico, e ambos alimentam um transformer híbrido de fluxo retificado. Pré-treino, treino conjunto de geração e edição, otimização de preferências para edição aberta e aprendizado por reforço com recompensa ocorrem antes do lançamento.

Por que o irmão destilado importa

Há uma variante mais rápida chamada AuK-Flash, destilada para inferência em quatro passos e sem orientação livre de classificador. O relatório a coloca em um ganho de 4,5 vezes sobre o modelo completo em condições equivalentes. O detalhe importa porque a edição de voz é uma dessas tarefas em que o primeiro resultado útil nunca é o final. Você muda uma palavra, escuta, muda a emoção, escuta de novo. Se cada passada custa um minuto, o fluxo é inutilizável, por melhor que seja a saída.

O apoio do ecossistema chegou rápido, o que muitas vezes sinaliza interesse real mais do que uma tabela de pontuações. vLLM-Omni e SGLang-Omni adicionaram suporte no primeiro dia, há inferência MLX em Apple Silicon, uma integração com audio.cpp permite inferência GGUF offline, e existem nós oficiais de ComfyUI. Um modelo de 1,5B é pequeno o bastante para autohospedar, e as ferramentas da comunidade tornam isso concreto em vez de teórico.

O que a licença muda

A licença MIT merece um parágrafo próprio. Muitos dos trabalhos de voz mais fortes saíram sob condições que restringem uso comercial ou excluem regiões inteiras. Termos permissivos sobre código e pesos baixam a barreira para estúdios pequenos, editores de podcast e equipes de localização que nunca poderiam justificar um contrato por posto para uma ferramenta de dublagem. Também significam que o modelo pode entrar em outros produtos sem uma revisão jurídica mais longa que a integração.

A ressalva está na cobertura. O AuK se concentra em chinês e inglês, então equipes de outros idiomas devem testar antes de planejar. Clonagem de voz e edição de gravações também levantam questões de consentimento que nenhuma licença resolve. O hábito sensato é o que a equipe pede: usar apenas material sobre o qual se tem direito.

A bancada de dublagem

Pense em quem isso mira. Uma equipe de localização tem um vídeo pronto e precisa dele em outras cinco línguas. O processo antigo é caro e lento: contratar dubladores, gravar cada linha, casar o tempo, pagar outra rodada quando uma tradução muda uma palavra. Se um modelo pega a atuação original e troca as palavras mantendo voz e ritmo, a maior parte dessa cadeia se reduz a uma edição.

Podcasters têm uma versão leve do mesmo problema. Um apresentador lê mal uma frase, erra um número, ou quer o mesmo episódio com tom mais calmo para outro público. Regravar é a resposta óbvia e a errada. Editar a tomada no lugar, preservando o som da sala e o caráter do microfone, é o que a ferramenta promete. Se ela cumpre isso num episódio inteiro e não num clipe de demonstração segue em aberto, mas a necessidade não está em dúvida.

Há também um público fácil de esquecer: os desenvolvedores que constroem recursos de voz. Como o AuK roda em 1,5B e os pesos são abertos, ele pode ser embutido num aplicativo em vez de alugado por chamada. Uma equipe pequena pode lançar um recurso de voz, fixar os custos e evitar enviar o áudio do usuário a terceiros. Em produtos sensíveis à privacidade, esse último ponto pode ser decisivo.

Onde pode dar errado

Se o modelo comete pequenos erros, editar áudio é uma tarefa sem esconderijo, porque o som não dá onde se abrigar. Uma palavra perfeitamente encaixada salta se falta a respiração anterior ou se o som da sala muda por meio segundo. A edição de voz vive ou morre nas emendas, e as emendas são exatamente onde os modelos escorregam. As etapas de otimização de preferências e aprendizado por reforço da equipe miraram nisso, bom sinal, mas só o uso contínuo dirá se as emendas somem.

Há também a questão do consentimento que acompanha todo modelo capaz de clonar. A mesma ferramenta que corrige a frase falha de um apresentador pode pôr palavras na boca dele, com a própria voz, sem deixar rastro. A licença do AuK não resolve isso, e nenhuma licença poderia. A responsabilidade volta para quem opera a ferramenta, e as equipes que lidam bem com isso constroem o processo de consentimento antes do recurso.

O que realmente levar

O movimento interessante não é existir mais um modelo de voz. É que geração e edição foram tratadas como um mesmo problema. Na maior parte do trabalho real a gravação já existe e precisa só de alguns ajustes. Tratar «diga isto» e «corrija aquela palavra» como dois pontos de uma mesma curva combina com o modo de pensar dos editores. É a amplitude das tarefas que torna a interface unificada mais do que um slogan.

O conselho prático é testar primeiro o lado da edição, no seu próprio áudio bagunçado, antes de planejar em torno dele. A geração é a parte que todos demonstram; a edição decidirá se o modelo merece um lugar num fluxo real. Se aguentar ali, tamanho reduzido, licença permissiva e inferência destilada rápida fazem do AuK um dos lançamentos de voz abertos mais utilizáveis do ano.