Drama 3は音声生成を「演出」の道具に変えた

Fish AudioがDrama 3をリリースしたのは10月13日で、多くの人が最初に気づいたのはその大きさだった。350億パラメータ、Mixture of Experts、トークンあたりのアクティブは約30億。次に注目されたのがベンチマークの数字で、発音の堅牢性が93.2%、前世代のS2.1 Proの88.1%から向上し、オープンウェイトのモデルをその表の首位に押し上げるのに十分だったという。
どちらも1段落の価値しかない。音声制作の進め方を実際に変えるのは、入力フォーマットのほうだ。
文章を打つのではなく、シーンの注記を書く
従来のテキスト音声合成の仕事はひとつだった。文字を受け取り、音声を返す。感情は、別の声を選び、速度をいじり、ダイスを振って、それらしいテイクが出るまで試すものだった。
Drama 3は角括弧に入れた指示を、普通の言葉で、台本にインラインで受け取る。Fishの例では1行に4つ入っている。感情を抑えて大丈夫だと言い、次に震える息、次に小さな笑い、最後にささやきへ落ちる。言葉は変わらない。その行を演じられるものにする要素はすべて括弧の中にある。
もう1つの層がある。対になるタグで個々の単語を囲めるので、パッセージ全体は平坦なまま、中の一語だけを息混じりにできる。ため息、笑い、間は、ポストで貼り付けるのではなく、あるべき場所に置かれる。

人間の俳優を演出したことがあれば、これは見覚えがあるはずだ。余白に注記が入った台本である。TTSしか使ったことがなければ、最初の10分は奇妙なやり方に感じられ、その後はこのやり方以外考えられなくなる。
1パスで複数話者
もう1つの構造的な変化は、1回の生成で最大16人までの話者を扱えることだ。16本のクリップを繋ぐのではない。1回のランで、声は分明なまま保たれ、Fishによれば互いの口調に反応する。
別々のTTSクリップから対話シーンを組み立てたことのある人なら、これが何をなくすか分かるだろう。4行目と5行目のルームトーンを合わせるのに午後を費やすことも、1つの声がずれたせいでやり取り全体を録り直すこともなくなる。長尺の一貫性も同じ話で、声とテンポがスクリプト全体で保たれ、数千文字ごとにリセットされない。
83言語を1つのモデルで扱い、言語ごとのエンドポイントはない。シーン内で言語を切り替えられる。同じコンテンツを4つの市場向けにローカライズする人にとっては、ここが要点だ。
気が変わるコストに何が起きるか
静かな経済論がある。従来の収録では、1語直すにはその行を録り直すことになり、録り直せばタイミング、息遣い、感情の弧がわずかにずれる。だから継ぎ目を受け入れるか、シーンごとやり直すかになる。
Drama 3には、選択した区間だけを再生成し、周囲の演技に触れない音声インペインティング機能がある。理論上は、1語の修正コストがほぼゼロになる。
実際には、ローンチ時点では制限付きだ。リリースに関する報道によれば、単語単位のインペインティングは招待制のテスト中で、公開された編集APIは計画段階にすぎない。発表の中で最も価値のある機能を、おそらくまだ使えない。Fishはまた、同じ指示でもテイクによって結果が変わると認め、いくつか生成して1つ選ぶことを勧めている。これはワンクリックのボタンではなく、人間の耳を必要とするツールだという告白だ。
あなたを止める3つのこと
ハードウェア。FP8でNVIDIAのカードに約48GBのVRAMが要る。CPUもApple MPSもAMDも不可。コミュニティの誰かが1日でMacの4bitに押し込んだが、それは工作であって本番ではない。多くのチームにとって現実的な道はAPIかプラットフォーム統合だ。
ライセンス。重みはHugging FaceにFish Audio Community License v1.0で置かれている。年間売上50万ドル未満は無償。それを超えると交渉になる。ホスト型の音声サービスとして再販するなら、売上に関係なく別契約だ。
自分では確かめられないベンチマーク。93.2%という数字と「オープンウェイト中1位」という位置づけは、ほとんどの読者には伝聞で届く。リーダーボードのページ、手法、モデルカードが同じ場所に揃っているわけではなく、ElevenLabsは反応していない。発音の堅牢性は実在し測定可能な指標で、名前、数字、外来語を一発で正しく読めるかということだ。方向性は信頼していいが、正確な順位は暫定と見るべきだ。
実際に試すには
最短はホスト型APIだ。テキストとクローン音声のreference_idを送り、フォーマットとビットレートを選べば音声が返る。リスト価格は100万文字あたり約15ドルで、10月から11月にかけて一部プロモーション価格がある。30分のポッドキャストがその料金で40セント前後になる。音声を固定費として扱うのをやめさせる種類の数字だ。
重みが欲しいなら、まずモデルカードを読み、FP8の要件とVRAMを照らし合わせ、製品を載せる前にライセンスを読む。35Bというサイズは宣伝用の数字ではない。ラップトップではなく借りたカードが必要な理由そのものだ。
この順番で試す
1時間あるなら、見せ場のセリフではなく失敗ケースに使うといい。
まず、名前、数字、略語を同じ節に入れた文から始める。TTSエンジンがつまずく典型の形だ。次に括弧の指示を足し、難しい単語を越えて修正が生き残るか見る。名前がそれでも正しく出るなら、発音の主張は実際に何かをしている。
次に同じ行を5回走らせ、ばらつきを聴く。Fishはテイクごとに結果が違うと言い、複数生成を勧めている。それは正直であり、ワークフローに選択の工程が要るという意味でもある。5つのテイクが大きく違うなら、指示は制御ではなく提案だ。
その次に、片方がもう片方に割り込む2人のやり取りを試す。複数話者の生成はデモは簡単で、決めるのは難しい。割り込みには、順番に話すのではなく重なりをモデル化する必要があるからだ。ここで多くのマルチボイスシステムは、シーンではなく本読みのように聞こえる。
最後にシーンの途中で言語を切り替える。言語をまたいだ一貫性は、ローカライズするなら重要な機能で、誰も作例を投稿しない機能でもある。
壊れたことを書き留める。そのリストはどんなベンチマークの数字より役に立つ。どの仕事をこのモデルに回し、どれをブースに残すべきかが分かるからだ。
スコアより大事な理由
音声生成は2年ほど前からナレーションには十分だった。足りていなかったのは演技だ。行を読むことと、その意味を抱えることの差。その隙間はブースの人間のディレクターと、平坦なテイクの周りを切る編集者が埋めてきた。
Drama 3はその隙間を埋めない。操作をテキストの中へ移す。つまり台本を書く人が、読む演技も演出する人になる。ポッドキャスト、ゲーム、オーディオブック、吹き替え短編にとって、誰がいつ仕事をするかという実際の変化だ。
ツールは完成していない。最良の機能は順番待ちの向こうにあり、ハードルの高さは高く、ベンチマークには独立した確認が要る。だがインターフェースは正しい。そしてインターフェースは残る側の部分だ。