Tencent Hunyuan AuK: un modelo de 1,5B para generar y editar voz

Los modelos de voz tienden a multiplicarse. Uno hace texto a voz, otro reduce el ruido, un tercero clona una voz, un cuarto separa a un cantante de su acompañamiento. Al equipo Hunyuan de Tencent le pareció demasiado y el 9 de septiembre de 2026 publicó AuK: un modelo base de 1.500 millones de parámetros que reúne todas esas tareas tras una sola interfaz de instrucciones. El código y los pesos están bajo licencia MIT, algo inusualmente permisivo para un modelo de voz de este tamaño.

La propuesta se explica en una frase. Le das un clip de audio y una frase que describe lo que quieres. Si quieres convertir «reunión mañana por la mañana» en «la reunión es el viernes por la tarde», lo dices y el modelo reescribe la voz sin volver a grabar. Si quieres que la misma voz suene más tranquila, pides una entrega más tranquila. Si una tos se cuela en medio de una toma, le pides que la quite.

Una sola caja de instrucciones, muchos oficios

La lista de tareas es larga y deliberadamente plana. AuK cubre la síntesis sin ejemplos, en la que lee un texto nuevo con la voz de un clip de referencia. Cubre la síntesis guiada por instrucciones, donde basta una descripción escrita y no hace falta audio de referencia. En edición, puede reemplazar, insertar o borrar palabras de una grabación existente, y reescribir la letra de una toma cantada intentando conservar la melodía y la voz original.

Encima está la capa acústica. El tono puede subir o bajar por semitonos. La velocidad de habla se ajusta, con la duración de salida escalando en consecuencia. La emoción y el timbre pueden cambiar sin tocar las palabras, y un acento regional puede quitarse sin perder la identidad del hablante. También maneja sonidos no verbales: respiraciones, risas y toses se añaden o eliminan, y convierte entre habla normal y susurro.

{{INLINE1}}

La limpieza es la parte silenciosa

La mejora y la separación completan el conjunto. AuK puede reducir ruido y reverberación, aislar a un hablante en una conversación por orden de intervención, o extraer una voz de una mezcla. Esta última capacidad solía requerir una herramienta aparte y un ingeniero paciente. Meterla en la misma interfaz que la generación de voz es la verdadera afirmación.

Las cifras de entrenamiento respaldan la ambición. Según el equipo, el modelo se construyó con unos 3.030 millones de instancias de instrucción y audio, a partir de aproximadamente 1,95 millones de horas de supervisión efectiva en generación, edición, mejora y separación. En arquitectura, un modelo de lenguaje multimodal aporta el condicionamiento semántico, un VAE entrenado en conjunto aporta el acústico, y ambos alimentan un transformador híbrido de flujo rectificado. El preentrenamiento, el entrenamiento conjunto de generación y edición, la optimización de preferencias para edición abierta y el aprendizaje por refuerzo con recompensa ocurren antes del lanzamiento.

Por qué importa el hermano destilado

Hay una variante más rápida llamada AuK-Flash, destilada para inferencia en cuatro pasos y sin guía libre de clasificador. El informe la sitúa en una aceleración de 4,5 veces sobre el modelo completo en condiciones equivalentes. El detalle importa porque la edición de voz es de esas tareas en las que el primer resultado útil nunca es el definitivo. Cambias una palabra, escuchas, cambias la emoción, vuelves a escuchar. Si cada pasada cuesta un minuto, el flujo es inservible, por buena que sea la salida.

El respaldo del ecosistema llegó rápido, lo que a menudo indica más interés real que una tabla de resultados. vLLM-Omni y SGLang-Omni añadieron soporte el primer día, hay inferencia MLX en Apple Silicon, una integración con audio.cpp permite inferencia GGUF sin conexión, y existen nodos oficiales de ComfyUI. Un modelo de 1,5B es lo bastante pequeño para autohospedarlo, y las herramientas de la comunidad lo hacen concreto en lugar de teórico.

Qué cambia la licencia

La licencia MIT merece su propio párrafo. Muchos de los mejores trabajos de voz se publicaron con condiciones que restringen el uso comercial o excluyen regiones enteras. Unos términos permisivos sobre código y pesos bajan la barrera para estudios pequeños, editores de pódcast y equipos de localización que nunca habrían podido justificar un contrato por puesto para una herramienta de doblaje. También significan que el modelo puede entrar en otros productos sin una revisión legal más larga que la integración.

El matiz está en la cobertura. AuK se centra en chino e inglés, así que los equipos de otros idiomas deberían probar antes de planificar. La clonación de voz y la edición de grabaciones plantean además cuestiones de consentimiento que ninguna licencia resuelve. El hábito sensato es el que pide el equipo: usar solo material sobre el que se tenga derecho.

El banco de doblaje

Piénsese a quién apunta. Un equipo de localización tiene un vídeo terminado y necesita cinco idiomas más. El proceso antiguo es caro y lento: contratar actores de doblaje, grabar cada línea, cuadrar el tiempo, pagar otra ronda cuando una traducción cambia una palabra. Si un modelo recoge la interpretación original y cambia las palabras manteniendo voz y ritmo, la mayor parte de esa cadena se reduce a una edición.

Los podcasteros tienen una versión ligera del mismo problema. Un presentador lee mal una frase, se equivoca en una cifra o quiere el mismo episodio con un tono más calmado para otro público. Regrabar es la respuesta obvia y la equivocada. Editar la toma en su sitio, conservando el sonido de la sala y el carácter del micrófono, es lo que promete la herramienta. Que lo consiga en un episodio entero y no en un clip de demostración sigue siendo la pregunta, pero la necesidad no está en duda.

Hay otro público fácil de pasar por alto: los desarrolladores que construyen funciones de voz. Como AuK funciona con 1,5B y los pesos están abiertos, puede integrarse en una aplicación en lugar de alquilarse por llamada. Un equipo pequeño puede lanzar una función de voz, fijar los costes y evitar enviar el audio del usuario a un tercero. En productos sensibles a la privacidad, ese último punto puede ser decisivo.

Dónde puede fallar

Si el modelo comete pequeños errores, editar audio es un asunto sin escondite, porque el sonido no da dónde ocultarse. Una palabra perfectamente encajada resalta si falta la respiración anterior o si el sonido de la sala cambia medio segundo. La edición de voz vive o muere en las costuras, y las costuras son justo donde los modelos resbalan. Las etapas de optimización de preferencias y refuerzo del equipo apuntaban ahí, buena señal, pero solo el uso continuado dirá si las costuras desaparecen.

Está también la cuestión del consentimiento que acompaña a todo modelo capaz de clonar. La misma herramienta que corrige la frase fallida de un presentador puede poner palabras en su boca, con su propia voz, sin dejar rastro. La licencia de AuK no resuelve eso, y ninguna licencia podría. La responsabilidad recae en quien opera la herramienta, y los equipos que lo gestionan bien construyen el proceso de consentimiento antes que la función.

Qué llevarse de verdad

El movimiento interesante no es que exista otro modelo de voz. Es que generación y edición se trataron como un mismo problema. En la mayoría del trabajo real la grabación ya existe y solo necesita unos retoques. Tratar «di esto» y «corrige esa palabra» como dos puntos de una misma curva encaja con cómo piensan los editores. La amplitud de tareas es lo que hace que la interfaz unificada sea algo más que un eslogan.

El consejo práctico es probar primero el lado de la edición, con tu propio audio desordenado, antes de planificar en torno a él. La generación es la parte que todos muestran; la edición decidirá si el modelo merece un sitio en un flujo real. Si aguanta ahí, el tamaño reducido, la licencia permisiva y la inferencia destilada rápida hacen de AuK uno de los lanzamientos de voz abiertos más utilizables del año.