Tencent Hunyuan AuK : un seul modèle de 1,5B pour générer et éditer la parole

Les modèles vocaux ont tendance à se multiplier. L'un fait de la synthèse, l'autre du débruitage, un troisième clone une voix, un quatrième sépare un chanteur de son accompagnement. L'équipe Hunyuan de Tencent a jugé cela trop lourd et a publié AuK le 9 septembre 2026 : un modèle de base de 1,5 milliard de paramètres qui réunit tous ces travaux derrière une seule interface d'instructions. Le code et les poids sont sous licence MIT, ce qui, pour un modèle vocal de cette taille, est inhabituellement permissif.

La promesse tient en une phrase. Vous donnez un clip audio et une phrase décrivant ce que vous voulez. Pour transformer « réunion demain matin » en « réunion vendredi après-midi », vous le dites, et le modèle réécrit la parole sans réenregistrer. Si vous voulez la même voix plus posée, vous demandez une diction plus posée. Si une quinte de toux s'est glissée au milieu d'une prise, vous demandez de la retirer.

Une seule boîte d'instruction, beaucoup de métiers

La liste des tâches est longue et volontairement plate. AuK couvre la synthèse à partir de zéro, où il lit un texte avec la voix d'un extrait de référence. Il couvre la synthèse guidée par instruction, où une description écrite suffit et aucune référence audio n'est nécessaire. Côté édition, il peut remplacer, insérer ou supprimer des mots dans un enregistrement existant, et réécrire les paroles d'une prise chantée en essayant de préserver la mélodie et la voix d'origine.

Au-dessus vient la couche acoustique. La hauteur peut monter ou descendre par demi-tons. Le débit peut être ajusté, la longueur de sortie suivant le facteur. L'émotion et le timbre peuvent changer sans toucher aux mots, et un accent régional peut être retiré sans perdre l'identité du locuteur. Le modèle gère aussi les sons non verbaux : respirations, rires et toux peuvent être ajoutés ou supprimés, et il convertit entre parole normale et chuchotement.

{{INLINE1}}

Le nettoyage, la partie silencieuse

L'amélioration et la séparation complètent l'ensemble. AuK peut débruiter et déréverbérer un enregistrement, isoler un locuteur dans une conversation par ordre de prise de parole, ou extraire une voix d'un mixage. Cette dernière capacité exigeait jusqu'ici un outil séparé et un ingénieur patient. La fondre dans la même interface que la génération vocale, voilà la vraie affirmation.

Les chiffres d'entraînement soutiennent l'ambition. L'équipe indique environ 3,03 milliards d'instances instruction-audio, issues d'environ 1,95 million d'heures de supervision effective couvrant génération, édition, amélioration et séparation. Côté architecture, un modèle de langage multimodal fournit le conditionnement sémantique, un VAE entraîné conjointement fournit le conditionnement acoustique, et les deux alimentent un transformeur hybride à flot rectifié. Préentraînement, entraînement conjoint génération-édition, optimisation des préférences pour l'édition ouverte et apprentissage par renforcement basé sur la récompense : tout est fait avant la publication.

Pourquoi le frère distillé compte

Une variante plus rapide, AuK-Flash, est distillée pour une inférence en quatre étapes sans guidage par classificateur. Le rapport technique la situe à un gain de 4,5 fois en temps réel sur le modèle complet à conditions égales. Ce détail compte parce que l'édition vocale est un de ces travaux où la première version utile n'est jamais la dernière. On change un mot, on écoute ; on change l'émotion, on écoute encore. Si chaque passage coûte une minute, le flux est inutilisable, quelle que soit la qualité.

Le soutien de l'écosystème est arrivé vite, ce qui est souvent un meilleur signe d'intérêt réel qu'un tableau de scores. vLLM-Omni et SGLang-Omni ont ajouté un support dès le premier jour, l'inférence MLX sur Apple Silicon est disponible, une intégration audio.cpp permet l'inférence hors ligne GGUF, et des nœuds ComfyUI officiels existent. Un modèle de 1,5B est assez petit pour l'auto-hébergement, et les outils communautaires rendent cela concret plutôt que théorique.

Ce que change la licence

La licence MIT mérite son paragraphe. Beaucoup des meilleurs travaux vocaux sont sortis sous des conditions limitant l'usage commercial, ou découpant des régions entières. Des termes permissifs sur le code et les poids abaissent la barrière pour les petits studios, les monteurs de podcast et les équipes de localisation, qui n'auraient jamais pu justifier un contrat par poste pour un outil de doublage. Cela signifie aussi que le modèle peut entrer dans d'autres produits sans une revue juridique plus longue que l'intégration.

La réserve porte sur la couverture. AuK se concentre sur le chinois et l'anglais ; les équipes dans d'autres langues devraient tester avant de planifier. Le clonage de voix et l'édition d'enregistrements soulèvent aussi des questions de consentement qu'aucune licence ne tranche. L'habitude raisonnable est celle que demande l'équipe : n'utiliser que du matériel que l'on a le droit d'utiliser.

L'établi du doublage

Pensez à qui cela s'adresse. Une équipe de localisation a une vidéo finie et doit la décliner en cinq langues. L'ancien processus est cher et lent : engager des comédiens, enregistrer chaque ligne, caler le timing, repayer un tour quand une traduction change un mot. Si un modèle reprend la performance d'origine et remplace les mots en gardant la voix et le rythme, l'essentiel de cette chaîne se réduit à une édition.

Les podcasteurs ont une version légère du même problème. Un animateur lit mal une phrase, se trompe sur un chiffre, ou veut le même épisode sur un ton plus posé pour un autre public. Réenregistrer est la réponse évidente et la mauvaise. Éditer la prise sur place, en gardant l'acoustique de la pièce et le caractère du micro, voilà ce que promet l'outil. Qu'il y parvienne sur un épisode entier plutôt qu'un clip de démonstration reste la question ouverte, mais le besoin, lui, ne fait aucun doute.

Il existe aussi un public facile à oublier : les développeurs qui construisent des fonctions vocales. Comme AuK tourne à 1,5B avec des poids ouverts, il peut être intégré à une application plutôt que loué à l'appel. Une petite équipe peut livrer une fonction vocale, fixer les coûts et éviter d'envoyer l'audio des utilisateurs à un tiers. Pour les produits sensibles à la vie privée, ce dernier point peut être décisif.

Où cela peut mal tourner

Si le modèle commet de petites erreurs, l'édition audio n'offre aucun refuge, car le son ne laisse nulle part où se cacher. Un mot parfaitement en place ressort si la respiration qui le précède a disparu ou si l'acoustique de la pièce bascule une demi-seconde. L'édition vocale vit ou meurt sur les jointures, et les jointures sont exactement où les modèles glissent. Les étapes d'optimisation des préférences et d'apprentissage par renforcement de l'équipe visaient ce point, ce qui est bon signe, mais seule une utilisation continue dira si les jointures disparaissent.

Il y a aussi la question du consentement qui accompagne tout modèle capable de clonage. L'outil qui corrige la phrase ratée d'un animateur peut aussi mettre des mots dans sa bouche, avec sa propre voix, sans laisser de trace. La licence d'AuK ne règle pas cela, et aucune licence ne le pourrait. La responsabilité revient à qui opère l'outil, et les équipes qui gèrent bien cela construiront le processus de consentement avant la fonctionnalité.

Ce qu'il faut vraiment retenir

Le geste intéressant n'est pas qu'un modèle vocal de plus existe. C'est que génération et édition ont été traitées comme un même problème. Dans la plupart des travaux réels, l'enregistrement existe déjà et n'a besoin que de quelques retouches. Traiter « dis ceci » et « corrige ce mot » comme deux points d'une même courbe correspond à la façon dont pensent les monteurs. C'est l'étendue des tâches qui fait de l'interface unifiée autre chose qu'un slogan.

Le conseil pratique est de tester d'abord le volet édition, sur vos propres audio désordonnés, avant de bâtir un plan autour. La génération est la partie que tout le monde montre ; l'édition décidera si le modèle mérite une place dans un flux réel. S'il tient là, la petite taille, la licence permissive et l'inférence distillée rapide font d'AuK l'une des sorties vocales ouvertes les plus utilisables de l'année.