텐센트 Hunyuan AuK: 1.5B 모델 하나가 음성 생성과 편집을 함께 맡는다

음성 모델은 늘어나는 습성이 있다. 하나는 읽어주고, 하나는 노이즈를 지우고, 셋째는 목소리를 복제하고, 넷째는 가수를 반주에서 분리한다. 텐센트 Hunyuan 팀은 그게 번거롭다고 판단해 2026년 9월 9일 AuK를 공개했다. 이 작업들을 모두 하나의 지시 인터페이스에 담은 1.5B 기반 모델이다. 코드와 가중치 모두 MIT 라이선스로, 이 규모의 음성 모델로서는 이례적으로 관대하다.

주장은 한 문장으로 말할 수 있다. 오디오 클립과 무엇을 원하는지 적은 한 문장을 준다. 예를 들어 "내일 오전 회의"를 "회의는 금요일 오후"로 바꾸고 싶으면 그렇게 말하면, 다시 녹음하지 않고 모델이 그 음성을 다시 쓴다. 같은 목소리를 더 차분하게 하고 싶으면 차분한 낭독을 요청한다. 테이크 중간에 기침이 끼어 있으면 기침을 지우라고 한다.

하나의 명령창, 많은 일

작업 목록은 길고 의도적으로 평평하게 만들어졌다. AuK는 참조 음성의 목소리로 새 텍스트를 읽는 제로샷 읽어주기를 다루고, 참조 음성 없이 목소리 설명만으로 생성하는 지시 기반 합성도 다룬다. 편집 쪽에서는 기존 녹음의 단어를 교체, 삽입, 삭제할 수 있고, 노래 녹음의 가사도 선율과 원래 목소리를 살리며 다시 쓸 수 있다.

그 위에 음향 층이 있다. 음높이는 반음 단위로 올리고 내릴 수 있고, 말 속도도 조절되며 출력 길이가 그에 맞춰 변한다. 감정과 음색은 말을 그대로 둔 채 바꿀 수 있고, 지역 억양은 화자의 정체성을 지키며 없앨 수 있다. 비언어적 소리도 다룬다. 숨소리, 웃음, 기침을 넣거나 지울 수 있고, 보통 말소리와 속삭임 사이를 오갈 수 있다.

{{INLINE1}}

조용한 핵심은 정리 작업

강화와 분리가 전체를 마무리한다. AuK는 녹음의 노이즈와 잔향을 줄이고, 대화 순서로 한 화자를 뽑아내며, 믹스에서 보컬을 추출한다. 마지막 기능은 예전이라면 별도 도구와 인내심 강한 엔지니어가 필요했다. 그것을 음성 생성과 같은 인터페이스에 넣는 것이 여기서 진짜 주장이다.

학습 수치가 그 야심을 뒷받침한다. 팀에 따르면 약 30.3억 건의 지시와 오디오 인스턴스, 약 195만 시간의 실효 지도로 만들어졌고 생성과 편집, 강화, 분리를 아우른다. 구조에서는 멀티모달 언어 모델이 의미 조건을, 공동 학습된 VAE가 음향 조건을 공급하고, 둘이 정류 흐름 하이브리드 Transformer를 구동한다. 사전 학습, 생성과 편집의 공동 학습, 열린 편집을 위한 선호 최적화, 생성을 위한 보상 강화 학습까지 공개 전에 끝냈다.

증류 버전이 따로 언급되는 이유

AuK-Flash라는 빠른 버전이 있고, 4단계 추론으로 증류되었으며 분류기 없는 가이던스를 쓰지 않는다. 기술 보고서는 동일 조건에서 전체 모델 대비 4.5배의 실시간 가속이라고 밝힌다. 이 점이 중요한 것은 음성 편집이 초안이 곧 최종본이 되는 일이 없는 작업이기 때문이다. 단어 하나를 바꾸고 듣고, 감정을 바꾸고 또 듣는다. 한 번에 1분씩 걸리면 출력이 아무리 좋아도 작업이 돌아가지 않는다.

생태계 지원은 빠르게 도착했다. 이는 벤치마크 표보다 진짜 관심을 더 잘 보여주는 신호다. vLLM-Omni와 SGLang-Omni가 첫날 지원을 더했고, Apple Silicon에서는 MLX 추론을 쓸 수 있으며, audio.cpp 연동으로 GGUF 오프라인 추론이 가능하고 공식 ComfyUI 노드도 있다. 1.5B는 자체 호스팅이 가능한 크기이고, 주변 커뮤니티 도구가 그것을 이론이 아니라 현실로 만든다.

라이선스가 바꾸는 것

MIT 라이선스는 한 단락의 가치가 있다. 가장 강한 음성 성과의 상당수는 상업 사용을 제한하거나 지역으로 선을 긋는 조건 아래 공개되어 왔다. 코드와 가중치가 모두 관대하다는 것은 소규모 스튜디오, 팟캐스트 편집자, 현지화 팀의 문턱을 낮춘다. 이들은 좌석당 계약을 정당화할 수 없었던 사람들이다. 또한 통합 자체보다 긴 법무 검토 없이 모델이 다른 제품에 들어갈 수 있음을 뜻한다.

주의할 점은 범위다. AuK의 대응은 중국어와 영어 중심이므로 다른 언어 팀은 계획 전에 시험해야 한다. 음성 복제와 녹음 편집에는 어떤 라이선스도 해결하지 못하는 동의 문제가 따른다. 현명한 습관은 팀이 요청하는 것과 같다. 사용할 권리가 있는 자료만 쓰는 것이다.

더빙 작업대

누구를 겨냥하는지 생각해 보자. 현지화 팀에는 완성된 영상이 있고 그것을 다섯 개 언어로 더 만들어야 한다. 기존 공정은 비싸고 느리다. 성우를 섭외하고, 한 줄씩 녹음하고, 타이밍을 맞추고, 번역이 한 단어만 바뀌어도 한 바퀴 값을 더 낸다. 모델이 원래의 연기를 받아 단어를 바꾸면서 목소리와 호흡을 유지하면, 이 공정의 대부분이 한 번의 편집으로 줄어든다.

팟캐스터에게는 같은 문제의 가벼운 버전이 있다. 한 문장을 잘못 읽거나 숫자를 틀리거나, 같은 회차를 다른 청중에게 더 차분한 어조로 전하고 싶다. 다시 녹음하는 것이 명백한 답이고 틀린 답이다. 원본 테이크 위에서 그 자리에서 편집하며 방의 울림과 마이크의 질감을 지키는 것이 이 도구의 약속이다. 한 회차 전체에서 그것을 지킬 수 있는지는 미해결이지만, 필요 자체에는 의심이 없다.

놓치기 쉬운 사용자도 있다. 음성 기능을 만드는 개발자다. AuK는 1.5B로 돌아가고 가중치도 열려 있어 호출 과금이 아니라 앱에 내장할 수 있다. 작은 팀도 음성 기능을 내고 비용을 고정할 수 있으며 사용자 오디오를 제3자에게 보내지 않아도 된다. 프라이버시에 민감한 제품에서는 마지막 점이 결정적일 수 있다.

어디서 무너질 수 있나

작은 실수가 있으면 음성 편집은 숨을 곳이 없는 작업이 된다. 완벽하게 맞아떨어진 단어도 그 앞의 숨소리가 사라졌거나 방의 울림이 0.5초 달라지면 도드라진다. 음성 편집의 성패는 이음새에 있고, 이음새야말로 모델이 미끄러지기 쉬운 곳이다. 팀 자신의 선호 최적화와 강화 학습 단계가 바로 그곳을 겨냥한다. 좋은 신호지만 이음새가 사라지는지는 계속 써 봐야 안다.

복제가 가능한 모델마다 따라오는 동의 문제도 있다. 진행자의 말실수를 고치는 도구는 같은 목소리로 그의 입에 말을 넣고 흔적을 남기지 않을 수도 있다. AuK의 라이선스는 그것을 해결하지 못하고 어떤 라이선스도 해결할 수 없다. 책임은 도구를 조작하는 쪽으로 돌아온다. 잘 다루는 팀은 기능보다 먼저 동의 절차를 세운다.

가져가야 할 것

여기서 흥미로운 움직임은 음성 모델이 하나 더 생긴 것이 아니라 생성과 편집을 같은 문제로 다룬 것이다. 실제 업무 대부분에서 녹음은 이미 있고 몇 군데만 고치면 된다. "이걸 말해"와 "저 단어를 고쳐"를 하나의 곡선 위 두 점으로 다루는 것은 편집자의 사고방식에 맞는다. 작업의 폭이 넓기에 통합 인터페이스가 구호 이상이 된다.

실용적 조언은 편집 쪽을 먼저 자기 지저분한 오디오로 시험하고 나서 계획에 넣으라는 것이다. 생성은 모두가 시연하는 부분이고, 편집이 이 모델의 자리를 정하는 부분이다. 거기서 버티면 작은 크기, 관대한 라이선스, 빠른 증류 추론이 합쳐져 AuK는 올해 쓰기 좋은 오픈 음성 릴리스 중 하나가 된다.