Drama 3, 더빙을 연출로 바꾸다

Fish Audio가 10월 13일 Drama 3를 공개했고, 대부분이 가장 먼저 알아챈 것은 크기였다. 350억 파라미터, 전문가 혼합(MoE), 토큰당 활성 파라미터 약 30억. 두 번째는 벤치마크 숫자였다. 발음 견고성 93.2%로 이전 S2.1 Pro의 88.1%에서 올랐고, 오픈 웨이트 모델을 그 특정 순위표의 맨 위에 올리기에 충분하다고 전해진다.
둘 다 한 문단이면 충분하다. 음성 작업 방식이 실제로 달라지는 지점은 입력 형식이다.
이제 문장을 타이핑하지 않는다. 장면 노트를 쓴다.
예전 TTS의 일은 하나였다. 글자를 넣으면 오디오가 나온다. 감정은 다른 목소리를 고르고, 속도를 미세 조정하고, 마음에 들 때까지 주사위를 굴려서 쫓는 것이었다.
Drama 3는 대본 사이에 대괄호로 감싼 지시문을 자연어로 받는다. Fish의 예시는 한 줄에 네 개를 넣는다. 감정을 붙잡고 괜찮다고 말하고, 떨리는 숨을 쉬고, 작게 웃고, 속삭임으로 떨어진다. 대사는 바뀌지 않는다. 그 줄을 연기 가능하게 만드는 모든 것이 대괄호 안에 있다.
두 번째 층도 있다. 짝을 이루는 태그가 개별 단어를 감싸므로, 한 구절은 평평하게 두고 그 안의 한 마디만 숨결을 실을 수 있다. 한숨, 웃음, 멈춤은 후반 작업에서 붙이는 대신 제자리에 들어간다.

사람 배우를 연출해본 적이 있다면 익숙할 것이다. 여백에 메모가 달린 대본이다. TTS만 써봤다면 10분쯤은 이상한 방식이고, 그 뒤로는 유일하게 원하는 방식이 된다.
한 번의 패스로 다중 화자
다른 구조적 변화는 한 번의 생성이 최대 16명의 화자를 담을 수 있다는 점이다. 16개 클립을 이어 붙이는 것이 아니라 한 번의 실행이고, 목소리는 서로 구분되며 Fish에 따르면 서로의 톤에 반응한다.
별도 TTS 클립으로 대화 장면을 조립해본 사람은 무엇이 사라지는지 안다. 4번 줄과 5번 줄의 룸톤을 맞추느라 오후를 쓰거나, 목소리 하나가 흔들려 대화 전체를 다시 녹음하지 않아도 된다. 장편 일관성도 같은 이야기다. 목소리와 호흡이 몇천 자마다 리셋되지 않고 대본 전체에서 유지된다.
83개 언어, 하나의 모델, 언어별 엔드포인트 없음. 장면 안에서 언어를 바꾸는 것도 지원하는데, 같은 콘텐츠를 네 개 시장으로 현지화하는 사람에게 중요한 부분이다.
마음을 바꾸는 비용에 무슨 일이 생기는가
조용한 경제 논리가 있다. 전통적인 녹음 세션에서 단어 하나를 고치려면 그 줄을 다시 녹음해야 하고, 다시 녹음하면 타이밍과 숨, 감정 곡선이 조금씩 달라진다. 그래서 이음새를 감수하거나 장면을 다시 해야 한다.
Drama 3에는 선택한 구간만 주변 연기를 건드리지 않고 재생성하는 오디오 인페인팅 기능이 있다. 이론상 단어 하나를 고치는 비용이 거의 0에 가까워진다.
실제로는 출시 시점에 제한돼 있다. 보도에 따르면 단어 단위 인페인팅은 초청 기반 테스트였고, 공개 편집 API는 계획 단계다. 발표에서 가장 값진 기능인데 아직 쓰지 못할 가능성이 크다. Fish도 같은 지시가 테이크마다 다른 결과를 낼 수 있다고 인정하며 여러 개를 생성해 고르라고 권한다. 여전히 사람의 귀가 필요한 도구라는 뜻이고, 원클릭 버튼은 아니라는 뜻이다.
당신을 막을 세 가지
하드웨어. FP8 기준으로 NVIDIA 카드에서 약 48GB의 VRAM이 필요하다. CPU도, Apple MPS도, AMD도 안 된다. 커뮤니티의 누군가가 하루 만에 맥에서 4비트로 밀어 넣었지만 그건 실험이지 프로덕션이 아니다. 대부분 팀의 현실적인 경로는 API나 플랫폼 통합이다.
라이선스. 가중치는 Hugging Face에 Fish Audio Community License v1.0으로 올라와 있다. 연 매출 50만 달러 미만은 무료다. 그 이상은 협상이다. 호스팅 음성 서비스로 재판매하려면 매출과 무관하게 별도 계약이다.
확인할 수 없는 벤치마크. 93.2%라는 숫자와 '오픈 웨이트 1위'라는 자리는 대부분 독자에게 간접적으로 전달된다. 리더보드 페이지, 방법론, 모델 카드가 한곳에 모여 있지 않고, ElevenLabs는 응답하지 않았다. 발음 견고성은 실재하고 측정 가능한 것이다. 이름, 숫자, 외래어를 첫 시도에 정확히 읽는 능력이다. 방향은 신뢰하되 정확한 순위는 잠정적으로 보라.
실제로 써보는 방법
가장 빠른 경로는 호스팅 API다. 텍스트와 복제 음성의 reference_id를 보내고, 포맷과 비트레이트를 고르면 오디오가 돌아온다. 정가는 100만 자당 약 15달러이고, 10월과 11월 일부 기간에는 프로모션 요율이 적용된다. 그 요율이면 30분 팟캐스트가 40센트 근처인데, 음성을 고정비로 취급하지 않게 만드는 숫자다.
가중치를 원한다면 모델 카드부터 보고, FP8 요구량과 VRAM을 대조하고, 제품을 올리기 전에 라이선스를 읽어라. 35B라는 크기는 마케팅 숫자가 아니라, 노트북이 아닌 임대 카드가 필요한 이유다.
이 순서로 테스트하라
한 시간이 있다면 쇼케이스 문장보다 실패 사례에 쓰라.
이름, 숫자, 약어가 같은 절에 들어간 문장으로 시작하라. TTS 엔진이 정확히 넘어지는 형태다. 그다음 대괄호 지시를 붙여, 어려운 단어를 지나도 교정이 살아남는지 보라. 이름이 여전히 맞게 나오면 발음 주장은 실제로 작동하는 것이다.
다음으로 같은 줄을 다섯 번 돌려 편차를 들어라. Fish는 테이크마다 결과가 다르다며 여러 개를 생성하라고 한다. 정직하고, 동시에 워크플로에 선택 단계가 필요하다는 뜻이다. 다섯 테이크가 크게 다르면 지시는 제어가 아니라 제안이다.
그다음 한 캐릭터가 다른 캐릭터를 끊는 2인 대화를 시도하라. 다중 화자 생성은 데모는 쉽고 완성은 어렵다. 끊기는 순서를 주고받는 게 아니라 겹침을 모델링해야 하기 때문이다. 대부분 다중 음성 시스템이 장면이 아니라 대본 낭독처럼 들리는 지점이다.
마지막으로 장면 중간에 언어를 바꿔라. 언어 전환 사이의 일관성은 현지화를 한다면 중요한 기능이고, 아무도 예시를 올리지 않는 기능이다.
무엇이 깨지는지 적어라. 그 목록이 어떤 벤치마크 퍼센트보다 유용하다. 이 모델로 보낼 작업과 부스에 남길 작업을 알려주기 때문이다.
점수보다 이게 중요한 이유
음성 생성은 2년쯤 전부터 내레이션에는 충분했다. 충분하지 않았던 것은 연기다. 대사를 읽는 것과 그 뜻을 담는 것의 차이다. 그 간극은 부스의 인간 감독과, 평평한 테이크를 피해 편집하는 편집자가 메웠다.
Drama 3가 그 간극을 메우지는 않는다. 제어를 텍스트로 옮겼고, 그것은 대본을 쓰는 사람이 이제 낭독을 연출하는 사람도 된다는 뜻이다. 팟캐스트, 게임, 오디오북, 더빙된 숏폼에서 누가 언제 일하는지가 실제로 달라진다.
도구는 끝나지 않았다. 최고 기능은 대기 명단 뒤에 있고, 하드웨어 문턱은 높고, 벤치마크는 독립 확인이 필요하다. 하지만 인터페이스는 맞다. 그리고 인터페이스가 남는 부분이다.