← Volver al blog
Aiaprox. 7 min de lectura

Drama 3 convierte el doblaje en dirección de escena

Publicado 9 nov 2026
Drama 3 convierte el doblaje en dirección de escena

Fish Audio publicó Drama 3 el 13 de octubre, y lo primero que notó casi todo el mundo fue el tamaño: 35.000 millones de parámetros, mezcla de expertos, unos 3.000 millones activos por token. Lo segundo fue la cifra del benchmark: 93,2 % en robustez de pronunciación, frente al 88,1 % del anterior S2.1 Pro, y al parecer suficiente para poner un modelo de pesos abiertos en lo alto de esa tabla concreta.

Las dos cosas merecen un párrafo y nada más. Lo que cambia de verdad la forma de trabajar con voz es el formato de entrada.

Ya no se escribe una frase. Se escribe una nota de escena.

El text-to-speech antiguo tenía una tarea: recibir caracteres y devolver audio. La emoción era algo que se perseguía eligiendo otra voz, moviendo la velocidad y tirando los dados hasta que una toma sonaba bien.

Drama 3 acepta indicaciones entre corchetes, en lenguaje natural, dentro del propio guion. El ejemplo de Fish mete cuatro en una sola línea: aguantar y decir que todo está bien, luego un respiro tembloroso, luego una risa pequeña, luego bajar a un susurro. Las palabras no cambian nunca. Todo lo que hace interpretable la línea vive en los corchetes.

Hay una segunda capa. Las etiquetas emparejadas envuelven palabras sueltas, de modo que un pasaje puede quedarse plano y una frase dentro de él puede volverse aireada. Los suspiros, las risas y las pausas van donde corresponden en vez de pegarse en posproducción.

A condenser microphone in a shock mount inside a vocal booth, waveform light on the grille

Quien haya dirigido a un actor humano reconocerá la escena. Es un guion con notas al margen. Si solo se ha usado TTS, es una forma extraña de trabajar durante unos diez minutos y después es la única forma en que se quiere trabajar.

Varias voces en una sola pasada

El otro cambio estructural es que una sola generación puede sostener hasta dieciséis hablantes. No dieciséis clips cosidos: una ejecución, con voces que se mantienen distintas y que, según Fish, responden al tono de las otras.

Quien haya montado una escena de diálogo con clips TTS separados sabe lo que esto elimina. Ya no se pasa una tarde igualando el tono de sala entre la línea 4 y la línea 5, ni regrabando un intercambio entero porque una voz se desvió. La consistencia de formato largo es la misma historia: la voz y el ritmo se mantienen a lo largo de un guion en lugar de reiniciarse cada pocos miles de caracteres.

83 idiomas, un modelo, sin endpoint por idioma. El cambio de idioma dentro de una escena está soportado, que es la parte que importa para quien localiza el mismo contenido en cuatro mercados.

Qué hace con el coste de cambiar de idea

Aquí está el argumento económico silencioso. En una sesión de grabación tradicional, arreglar una palabra obliga a regrabar la línea, y regrabar la línea obliga a que el tempo, el respiro y el arco emocional se muevan un poco. Así que se acepta una costura o se rehace la escena.

Drama 3 incluye una función de inpainting de audio que regenera un segmento seleccionado sin tocar la interpretación de alrededor. En teoría, eso reduce el coste de arreglar una palabra casi a cero.

En la práctica, en el lanzamiento, está restringido. Las crónicas del lanzamiento dicen que el inpainting de una sola palabra estaba en pruebas por invitación, con una API pública de edición solo prevista. Es la función más valiosa del anuncio y probablemente todavía no se pueda usar. Fish también reconoce que la misma indicación puede dar resultados distintos entre tomas y recomienda generar varias y elegir una, lo que dice mucho: sigue siendo una herramienta que necesita oído humano, no un botón de un clic.

Las tres cosas que van a frenar

Hardware. En FP8 se necesitan unos 48 GB de VRAM en una tarjeta NVIDIA. Nada de CPU, nada de Apple MPS, nada de AMD. Alguien de la comunidad lo metió en 4 bits en un Mac en un día, pero eso es trastear, no producir. Para la mayoría de los equipos el camino realista es la API o una integración de plataforma.

Licencia. Los pesos están en Hugging Face bajo la Fish Audio Community License v1.0. Gratis por debajo de 500.000 dólares de ingresos anuales. Por encima, se negocia. Si se quiere revender como servicio de voz alojado, hace falta un acuerdo aparte, independientemente de los ingresos.

Benchmarks que no se pueden comprobar. La cifra del 93,2 % y el puesto de «número uno entre pesos abiertos» llegan a la mayoría de los lectores de segunda mano. La página de la clasificación, la metodología y la ficha del modelo no están todas en el mismo sitio, y ElevenLabs no ha respondido. La robustez de pronunciación es algo real y medible —nombres, números y palabras extranjeras leídos bien al primer intento—, así que conviene tratar la dirección como creíble y el ranking exacto como provisional.

Cómo probarlo de verdad

La ruta más rápida es la API alojada. Se envía texto más un reference_id de una voz clonada, se elige formato y bitrate, y vuelve el audio. El precio de lista ronda los 15 dólares por millón de caracteres, con una tarifa promocional durante parte de octubre y noviembre. Un pódcast de 30 minutos sale por unos cuarenta centavos a ese ritmo, que es el tipo de cifra que hace dejar de tratar la voz como un coste fijo.

Si se quieren los pesos, conviene empezar por la ficha del modelo, comparar la VRAM con el requisito de FP8 y leer la licencia antes de construir un producto encima. El tamaño de 35B no es una cifra de marketing: es la razón por la que esto necesita una tarjeta alquilada y no un portátil.

Probarlo en este orden

Si hay una hora disponible, conviene gastarla en los casos de fallo y no en las líneas de escaparate.

Empezar por una frase con un nombre, un número y un acrónimo en la misma oración, la forma exacta que hace tropezar a los motores TTS. Luego añadir una indicación entre corchetes y ver si la corrección sobrevive a la palabra difícil. Si el nombre sigue saliendo bien, la promesa de pronunciación hace algo real.

Después, repetir la misma línea cinco veces y escuchar la varianza. Fish dice que los resultados cambian entre tomas y sugiere generar varias. Es honesto, y también implica que el flujo de trabajo necesita un paso de selección. Si las cinco tomas son muy distintas, la indicación es una sugerencia y no un control.

Luego probar un intercambio de dos hablantes en el que uno interrumpe al otro. La generación multihablante es fácil de demostrar y difícil de clavar, porque la interrupción exige que el modelo modele el solapamiento en vez de turnarse. Ahí es donde la mayoría de los sistemas multívoz suenan a lectura de mesa y no a escena.

Por último, cambiar de idioma a mitad de escena. La consistencia al cambiar de lengua es la función que importa si se localiza, y es de la que nadie publica ejemplos.

Anotar lo que se rompe. La lista es más útil que cualquier porcentaje de benchmark, porque dice a qué trabajos les conviene este modelo y cuáles hay que dejar en cabina.

Por qué esto importa más que la nota

La generación de voz lleva unos dos años siendo suficientemente buena para narración. Para lo que no ha sido suficientemente buena es para interpretación: la diferencia entre leer una línea y decirla en serio. Esa brecha la cerraban directores humanos en cabina y montadores que cortaban alrededor de las tomas planas.

Drama 3 no cierra esa brecha. Mueve los controles al texto, lo que significa que quien escribe el guion es ahora también quien dirige la lectura. Para un pódcast, un videojuego, un audiolibro o un corto doblado, eso es un cambio real en quién hace el trabajo y cuándo.

La herramienta no está terminada. La mejor función está detrás de una lista de espera, el listón de hardware es alto y el benchmark necesita confirmación independiente. Pero la interfaz es la correcta, y las interfaces son la parte que suele quedarse.

Artículos relacionados