ElevenLabs가 더빙 안에 립싱크를 넣었고, 예산표에서 한 줄이 사라졌어요

11월 12일, ElevenLabs가 Dub & Sync를 ElevenCreative에 추가했어요. 영상을 올리고 원하는 언어를 고르면 새 음성 트랙에 입 모양을 맞춘 더빙본이 돌아와요. 한 번 실행으로 끝나고 따로 거치는 단계가 없어요. 발표에는 가격도, 지원 언어 수도 없었어요.
짧은 문장이지만 제작 예산에서 한 줄을 통째로 지우는 변화예요.
이 작업이 어떻게 나뉘어 있었고, 왜 그랬는지
토킹헤드 영상을 다섯 개 언어로 만드는 일은 생겨난 날부터 다섯 단계였어요. 대본을 번역하고, 성우를 캐스팅하거나 목소리를 합성하고, 오디오를 녹음하거나 생성하고, 입 모양을 새 오디오에 맞추고, 마지막으로 conform하고 확인해요.
돈이 사라지던 곳은 네 번째 단계예요. 문제의 두 절반이 거기서 서로 어긋나기 때문이에요. 번역은 단어를 바꾸고 길이도 바꿔요. 독일어는 영어보다 길고, 일본어는 짧고 강세가 놓이는 자리도 달라요. 들어온 음성 트랙에는 리듬이 있는데 원래 연기는 그 리듬을 전제로 만들어지지 않았어요. 영어 음소를 만드는 입과 포르투갈어를 말하는 트랙을 누군가는 맞춰야 해요.
보통의 답은 업체를 하나 더 쓰는 거였어요. 더빙 회사가 목소리를, 립싱크 회사가 얼굴을 맡았죠. 대기열도 파일 형식도 "납품"의 정의도 각자 달랐어요. 그 사이에 아무도 청구하지 않고 모두가 값을 치른 conform 단계가 끼어 있었어요.
네 번째와 다섯 번째를 합치면 공급업체 하나가 줄어요. 기능 추가보다 큰 변화예요.
인터페이스가 뜻하는 것
Dub & Sync는 영상을 입력으로 받고 영상을 돌려줘요. 이 틀이 모델보다 중요해요.
립싱크가 별도 제품일 때는 영상과 오디오 파일을 넣고, 입이 바뀐 영상을 받아요. 단위는 고정된 소재이고, 앞단이 바뀌면 처음부터 다시 해야 해요. 립싱크가 더빙 안에 있으면 단위는 로컬라이제이션 작업이 되고, 시스템이 대본과 목소리와 얼굴을 한곳에 두고 처리할 수 있어요.
두 번째 틀은 첫 번째가 못 하는 걸 가능하게 해요. 번역을 연기에 맞추는 방향이에요. 입이 정해진 프레임 수 안에 한 문구를 담아야 한다면 그 문구를 다시 쓸 수 있어요. 전문 더빙은 수십 년 동안 이걸 "적응"이라고 불렀고, 번역한 것처럼 들리는 더빙과 쓴 것처럼 들리는 더빙의 차이가 거기서 나와요.
ElevenLabs는 Dub & Sync가 적응을 하는지 말하지 않았어요. 물어야 할 질문이 바로 그거예요. 없으면 더 빠른 인수인계일 뿐이고, 있으면 다른 일이 돼요.
우연히 존재하던 품질 관문
일을 두 회사로 나누는 데는 저평가된 장점이 있어요. 인수인계가 검문소가 돼요. 오디오가 얼굴로 넘어가기 전에 누군가 보고, 출하 전에 누군가 얼굴을 봐요. 업체가 둘이면 세 번째 대사가 틀렸다는 걸 사람이 알아챌 수 있는 순간이 두 번 생겨요.
파이프라인을 한 번 실행으로 접으면 그 두 순간이 사라져요. 통합 도구는 모두 이 거래를 해요. 검사에는 새 자리가 필요해요.
더빙에서 중요한 검사는 구체적이에요. 목소리가 원래 화자의 나이, 어조, 속도와 맞는가. 각 문구의 시작과 끝에서 입 움직임이 맞는 음절에 얹히는가(싱크가 깨지는 게 가장 잘 보이는 지점이에요). 감정의 흐름이 남아 있는가, 아니면 모든 언어가 같은 온건한 열의로 나오는가. 마지막 항목은 합성 음성 전반의 실패 유형이고, 어떤 립싱크 지표도 잡지 못해요.
실제로 누가 영향을 받나
세 집단이고, 셈이 각각 달라요.
고객 캠페인을 여덟 개 시장에 옮기는 에이전시는 지금 예산표에 더빙 줄과 립싱크 줄을 따로 만들어요. 합치면 비용도 일정도 줄어요. 일정이 더 중요해요. 캠페인 날짜는 움직이지 않으니까요.
두 번째는 강의와 교육 영상을 만드는 사람들이에요. 계속 다시 찍고, 다시 찍을 때마다 모든 언어에서 재더빙이 발생해요. 영상이 입력이자 출력인 파이프라인이라면 다섯 번째 수정이 첫 번째만큼 비싸지 않고 싸져요.
세 번째가 누군가 걱정해야 할 집단이에요. 연기 중심 콘텐츠, 배우의 얼굴이 곧 제품인 일을 하는 사람은 이제 그 얼굴이 하는 말을 배우가 못 하는 언어로 다시 쓸 수 있는 도구를 가졌어요. 결과물이 충분히 그럴듯해서 질문은 더 이상 기술 문제가 아니에요.
그 밑에 깔린 동의 문제
더빙은 이제 사람의 입에 대한 편집이에요. 이 문장은 립싱크 도구가 나온 뒤로 계속 사실이었지만, 그때 도구는 따로 떨어져 있고 어색했고 후반 작업이라고 설명하기 쉬웠어요. 한 번 올려 한 파일을 돌려주는 더빙 제품에 접히면 같은 작업이 일상이 돼요.
표준 출연 계약은 대개 다른 언어로의 더빙을 다뤄요. 출연자 얼굴의 합성 재애니메이션까지 다루는 계약은 적고, 목소리도 합성일 때 어떻게 되는지까지 쓰는 계약은 더 적어요. 2023년에 쓰인 "더빙할 권리" 조항은 복제된 목소리에 맞춰 입이 프레임마다 다시 생성될 거라고 상상하지 않았을 거예요.
도구가 문제라고 말하는 게 아니에요. 서류가 따라오지 못한 게 문제이고, 스튜디오가 출하 전에 확인하는 건 서류예요. 여러 시장용 출연자 중심 콘텐츠를 만든다면 이번 달 실무적인 한 걸음은 릴리스에 한 문단을 더하는 거예요. 합성 음성과 합성 얼굴 재애니메이션에 대한 동의를, 지역별로, 기간과 함께요.
가격은 어디에 놓이는가
ElevenLabs는 Dub & Sync 가격을 공개하지 않았어요. 출시 주간에는 흔한 일이지만, 구매자에게 필요한 유일한 숫자이기도 해요.
추정하는 방법은 그것이 대체하는 것에 값을 매기는 거예요. 중간 규모 언어 시장으로 1분 전문 더빙을 하면 적응, 캐스팅, 스튜디오 시간, QC를 넣어 수백 달러가 돼요. 전문 업체의 립싱크 1분은 더 싸지만 대기열이 하나 더 붙어요. Dub & Sync가 둘 사이에 놓이면 일정에서 이기고, 립싱크 가격에 가까우면 전부 이겨요.
이 제품이 거는 건 대부분의 구매자가 기술료를 낸 적이 없다는 쪽이에요. 낸 건 조율 비용이고, 조율은 이제 소프트웨어예요.
Adobe가 파트너 영상 모델을 Premiere 안에 넣은 것도 같은 베팅이에요. Krea가 자사 규칙을 에이전트 기억에 넣은 것도요. 모델은 서로 바꿔 쓸 수 있게 되고 있어요. 인수인계는 아니에요. 인수인계를 하나 없앤 쪽이 고객을 가져가요.
먼저 무엇을 시험할까
이미 승인한 연기가 담긴 완성 영상 하나를 가져와요. 스스로 평가할 수 있는 세 언어로 돌리고, 가능하면 원어민을 옆에 두세요. 문구마다 첫 2초를 봐요. 립싱크가 깨지는 곳이에요. 그다음 마지막 2초를 봐요.
경계에서 입이 버티면 쓸 만한 도구예요. 문장의 감정 방향이 바뀌는 순간만 못 버티면, 사람이 필요한 부분을 찾은 것이고 다음 분기에 무엇에 예산을 둘지도 알게 돼요.