Drama 3 : le doublage devient une mise en scène

Fish Audio a publié Drama 3 le 13 octobre, et la première chose que la plupart des gens ont remarquée, c'est la taille : 35 milliards de paramètres, mixture of experts, environ 3 milliards actifs par token. La deuxième, c'est le score de benchmark : 93,2 % sur la robustesse de prononciation, contre 88,1 % pour le précédent S2.1 Pro, assez, dit-on, pour placer un modèle à poids ouverts en tête de ce tableau-là.
Ces deux points méritent un paragraphe, pas plus. Ce qui change vraiment la façon de faire du travail de voix, c'est le format d'entrée.
On ne tape plus une phrase. On écrit une note de jeu.
L'ancienne synthèse vocale avait un seul travail : prendre des caractères, rendre de l'audio. L'émotion, on la cherchait en changeant de voix, en poussant la vitesse et en lançant les dés jusqu'à ce qu'une prise sonne juste.
Drama 3 accepte des indications entre crochets, en langage courant, au fil du script. L'exemple de Fish en met quatre sur une seule ligne : se contenir et dire que tout va bien, puis un souffle tremblant, puis un petit rire, puis tomber dans le chuchotement. Les mots ne changent jamais. Tout ce qui rend la réplique jouable vit dans les crochets.
Il y a une deuxième couche. Des balises par paires encadrent des mots isolés, de sorte qu'un passage peut rester plat et qu'une expression à l'intérieur peut devenir soufflée. Soupirs, rires et pauses se placent là où ils doivent être, au lieu d'être collés au montage.

Si vous avez déjà dirigé un comédien, ça vous parlera. C'est un script avec des notes en marge. Si vous n'avez connu que la synthèse vocale, c'est une façon étrange de travailler pendant dix minutes, et ensuite c'est la seule que vous voulez.
Plusieurs voix en une passe
L'autre changement structurel, c'est qu'une seule génération peut tenir jusqu'à seize locuteurs. Pas seize clips recousus : une seule passe, avec des voix qui restent distinctes et qui, selon Fish, réagissent au ton les unes des autres.
Quiconque a assemblé une scène dialoguée à partir de clips de synthèse séparés sait ce que ça supprime. Vous ne passez plus un après-midi à égaliser le fond sonore entre la réplique 4 et la réplique 5, ni à réenregistrer tout un échange parce qu'une voix a dérivé. La cohérence longue est la même histoire : la voix et le rythme tiennent sur un script entier au lieu de se réinitialiser tous les quelques milliers de caractères.
83 langues, un seul modèle, pas de point d'accès par langue. Le changement de langue à l'intérieur d'une scène est pris en charge, et c'est ce qui compte pour qui décline le même contenu sur quatre marchés.
Ce que ça fait au coût du changement d'avis
Voici l'argument économique discret. Dans une séance d'enregistrement classique, corriger un mot oblige à refaire la réplique, et refaire la réplique décale légèrement le timing, le souffle et l'arc émotionnel. Donc soit vous acceptez une couture, soit vous refaites la scène.
Drama 3 embarque un inpainting audio qui régénère un segment sélectionné sans toucher au jeu autour. En théorie, le coût d'une correction d'un mot tombe à presque rien.
En pratique, au lancement, c'est verrouillé. Les comptes rendus indiquent que l'inpainting d'un seul mot était en test sur invitation, avec une API d'édition publique seulement prévue. C'est la fonction la plus précieuse de l'annonce et vous ne pouvez probablement pas encore l'utiliser. Fish reconnaît aussi qu'une même indication peut donner des résultats différents d'une prise à l'autre, et recommande d'en générer plusieurs pour en choisir une, ce qui vous dit qu'il s'agit encore d'un outil qui demande une oreille humaine, pas d'un bouton.
Les trois choses qui vont vous arrêter
Le matériel. En FP8, il faut à peu près 48 Go de VRAM sur une carte NVIDIA. Pas de CPU, pas de MPS Apple, pas d'AMD. Quelqu'un dans la communauté l'a fait tenir en 4 bits sur un Mac en une journée, mais c'est du bricolage, pas de la production. Pour la plupart des équipes, la voie réaliste est l'API ou une intégration de plateforme.
La licence. Les poids sont sur Hugging Face sous Fish Audio Community License v1.0. Gratuit en dessous de 500 000 dollars de revenu annuel. Au-delà, on négocie. Si vous voulez le revendre comme service vocal hébergé, c'est un accord séparé, quel que soit votre chiffre d'affaires.
Des benchmarks invérifiables. Le 93,2 % et la place de « numéro un des poids ouverts » arrivent à la plupart des lecteurs de seconde main. La page du classement, la méthodologie et la fiche du modèle ne sont pas au même endroit, et ElevenLabs n'a pas répondu. La robustesse de prononciation est une chose réelle et mesurable (noms propres, nombres et mots étrangers lus correctement du premier coup), donc prenez la direction comme crédible et le classement exact comme provisoire.
Comment l'essayer pour de vrai
Le plus rapide, c'est l'API hébergée. Vous envoyez du texte plus un reference_id pour une voix clonée, vous choisissez un format et un débit, vous récupérez l'audio. Le tarif catalogue tourne autour de 15 dollars le million de caractères, avec un tarif promotionnel sur une partie d'octobre et de novembre. Un podcast de 30 minutes revient à environ quarante cents à ce prix, le genre de chiffre qui vous fait cesser de traiter la voix comme un coût fixe.
Si vous voulez les poids, commencez par la fiche du modèle, comparez votre VRAM à l'exigence FP8 et lisez la licence avant de bâtir un produit dessus. Les 35 milliards ne sont pas un argument marketing : c'est la raison pour laquelle il faut une carte louée et pas un portable.
Le tester dans cet ordre
Si vous avez une heure, passez-la sur les cas d'échec plutôt que sur les répliques de démonstration.
Commencez par une phrase contenant un nom, un nombre et un acronyme dans la même proposition, exactement la forme qui fait trébucher les moteurs de synthèse. Ajoutez ensuite une indication entre crochets et voyez si la correction survit au mot difficile. Si le nom sort encore juste, la promesse sur la prononciation fait quelque chose de réel.
Ensuite, lisez cinq fois la même réplique et écoutez la variance. Fish dit que les résultats diffèrent d'une prise à l'autre et suggère d'en générer plusieurs. C'est honnête, et cela signifie aussi que votre flux de travail a besoin d'une étape de sélection. Si les cinq prises sont très différentes, l'indication est une suggestion, pas un contrôle.
Essayez ensuite un échange à deux voix où un personnage coupe l'autre. La génération multi-locuteurs est facile à démontrer et difficile à réussir, parce que l'interruption demande au modèle de modéliser le chevauchement plutôt que l'alternance. C'est là que la plupart des systèmes multi-voix sonnent comme une lecture à voix haute et pas comme une scène.
Enfin, changez de langue en cours de scène. La cohérence à travers un changement de langue est la fonction qui compte si vous localisez, et c'est celle dont personne ne publie d'exemples.
Notez ce qui casse. Cette liste est plus utile que n'importe quel pourcentage de benchmark, parce qu'elle vous dit quels travaux router vers ce modèle et lesquels garder en cabine.
Pourquoi celui-ci compte plus que le score
La génération de voix est assez bonne pour la narration depuis environ deux ans. Ce pour quoi elle n'est pas assez bonne, c'est le jeu : la différence entre lire une réplique et la penser. Cet écart était comblé par des directeurs humains en cabine et par des monteurs qui coupaient autour des prises plates.
Drama 3 ne comble pas cet écart. Il déplace les commandes dans le texte, ce qui signifie que la personne qui écrit le script est désormais aussi celle qui dirige la lecture. Pour un podcast, un jeu, un livre audio ou un court doublé, c'est un vrai déplacement de qui fait le travail et quand.
L'outil n'est pas fini. La meilleure fonction est derrière une liste d'attente, la barre matérielle est haute et le benchmark attend une confirmation indépendante. Mais l'interface est juste, et c'est la partie qui a tendance à rester.
Articles associés
Une feuille de calcul communautaire de clics pour couper les publicités des Android chinois
Il ne touche pas au système, ne déverrouille rien, ne flashe rien. Il bascule un à un les interrupteurs que les fabricants ont déjà prévus. Le prix à payer, c'est la liste qu'il faut continuer d'écrire.
GPT Image 2.6 a tenu le prix des tokens et fait monter la facture
GPT Image 2.6 reprend chaque tarif au token de 2.5 et coûte malgré tout plus cher par image, parce qu'une part plus grande du travail se paie en tokens de sortie. Onze jours après le lancement, la grille tarifaire dit plus que le classement.
Quelqu'un a reconstruit IDM de l'extérieur et a écrit ce qu'il n'a pas touché
Une réimplémentation en Rust d'Internet Download Manager revendique 5 fois la vitesse et 86 langues. Le document le plus intéressant est le paragraphe qui explique comment elle a été construite sans rien copier.
Rune est un framework UI Rust conçu pour qu'un agent puisse vérifier son propre travail
Rune rend en headless, vide son arbre d'éléments et accepte des entrées scriptées, ce qui donne à un agent de codage un signal différable qu'aucune capture d'écran ne fournit. Le framework est en préversion et n'accepte pas de pull requests.