음향 효과는 AI 영상에 남은 마지막 수작업이다

영상 모델은 이제 소리를 생성한다. Veo는 소리를 함께 내보내고, Seedance도 화면과 소리가 같이 나온다. MiniMax H3는 화면과 스테레오 오디오를 한 번에 만들고, Gemini의 Omni 계열은 프레임을 쓰는 동시에 동기화된 오디오를 함께 써낸다. 무음으로 생성하던 시대는 지난 열두 달 사이 어딘가에서 끝났다. 돌아가려는 사람은 없다.
그런데 완성된 AI 영상은 왜 아직도 손으로 짜맞춘 것 같은 소리가 날까.
실제로 손으로 짜맞추기 때문이다. 생성된 오디오는 바닥을 한 겹 깔아 줄 뿐이다. 환경음, 어쩌면 음악 큐 하나, 요청하면 대사 비슷한 것까지. 완성본에 필요한 건 설계된 소리다. 4초에 닫히는 문. 캐릭터가 돌아설 때 옷자락이 스치는 소리. 금속이 아니라 플라스틱 걸쇠가 내는 그 텅 빈 딸깍. 이 층은 여전히 라이브러리에서 사거나, 처리가 끝난 룸에서 녹음하거나, 2019년에 누군가 라이선스를 산 팩에서 꺼내 온다.
ElevenLabs의 Sound Effects v3가 이번 주 fal에 올라왔다. 중요한 건 버전 번호가 아니라 엔드포인트가 어떤 모양인지다. 무엇을 열어 두고, 무엇을 미리 치워 줬는지.
엔드포인트가 열어 둔 것
텍스트를 넣으면 음향 효과가 나온다. 최대 30초. 설명한 맥락을 참고해 생성한다. 웹 화면이 아니라 fal API로 호출한다. 그리고 이음새 없는 루프를 네이티브로 지원하며, 환경 베드와 게임 오디오라는 두 용도를 분명히 겨냥한다.

앞의 세 가지는 평범하다. 네 번째는 아니다.
갭리스 루프는 기술적 제약이고, 대부분의 생성 오디오가 이걸 못 한다. 루프는 시작한 지점에서 끝나야 한다. 위상이 맞아야 하고, 이음새에 클릭이 없어야 하고, 모델이 마무리하려는 흔적의 부풀음도 들리면 안 된다. 게임 레벨을 만들어 봤거나 10분짜리 환경 트랙을 만들어 본 사람은 안다. 20초마다 한 번 숨 쉬는 루프 포인트다. 그게 들리는 순간 티가 난다.
텍스트에서 오디오를 만드는 모델에 루프를 요구하는 건, 단독으로 듣기 좋은지와 아무 상관 없는 제약을 만족시키라는 뜻이다. 그걸 사후에 고치는 기능이 아니라 네이티브 기능으로 내세웠다는 점이 이번 릴리스의 실질이다.
30초라는 것도 짚어 둘 제약이다. 통씬도 스코어도 불가능하다. 그런데 타임라인을 실제로 채우는 것들은 가능하다. 차 지붕에 떨어지는 비, 서버룸의 웅웅거림, 시장 인파, 자갈 위 발소리, 건물 공조기의 낮은 울림. 루프 가능한 베드 30초면 크로스페이드로 1분 영상을 덮고, 깨끗하게 돌면 1시간도 덮는다. 이런 소재는 원래 컷이 아니라 배경이다.
왜 이게 애그리게이터 위에서 돌아가는가
fal은 추론 플랫폼으로, 수백 개의 이미지, 영상, 오디오, 3D 모델을 하나의 API 뒤에 세워 둔다. Adobe, Canva, Shopify 같은 고객이 있다. 여기에 ElevenLabs의 음향 효과 엔드포인트가 들어가는 건 작은 제품 뉴스지만 구조적 함의는 크다. 오디오가 이제 화면과 같은 파이프라인 안에서 일급 시민이 됐다는 것.
이게 중요한 이유는 AI 영상 제작이 실제로 어떻게 쪼개지는지에 있다. 지금의 워크플로는 따로 떨어진 호출의 연쇄다. 대본, 키프레임, 애니메이션, 업스케일, 보이스, 음악, 효과, 믹스. 예전엔 각 단계가 다른 툴에 있고 청구 관계도 따로여서, 하나를 바꾸려면 다른 곳에 다시 로그인해야 했다. 효과 엔드포인트가 영상 엔드포인트 옆에 앉으면 그 연쇄가 하나의 프로그램이 된다. 하나의 프로그램은 버전을 매기고, 다시 돌리고, 비용을 계산할 수 있다.
비용 쪽이 조용한 논거다. 작은 제작에서 사람의 한 시간이 진짜 대체 불가인 항목은 얼마 없다. 사운드 디자인이 그중 하나인데, 이 방은 어떤 소리가 나야 하는가에 정답이 없고 판단으로만 정해지기 때문이다. 생성 엔드포인트가 그 판단을 없애지는 않는다. 판단과 소재 사이에 있는 조달 단계를 없앤다.
생성된 소리가 아직 실패하는 지점
실패 유형이 셋이고, 미리 대비할 만하다.
첫째는 구체성. 문이 닫힌다라고만 쓰면 어디에나 있을 법한 문이 나온다. 폴리의 기술은 문을 고르는 데 있다. 무게, 걸쇠 종류, 틀이 금속인지 나무인지. 프롬프트가 일부는 실어 나르지만 모델의 기본값은 들은 모든 것의 평균이고, 평균적인 문은 아무도 알아채지 못하는 문이다. 적게 쓸수록 그 평균으로 돌아간다. 그게 딱 맞을 때도 있고, 장면이 싸구려로 느껴지는 이유가 될 때도 있다.
둘째는 겹치기. 실제 장면은 층이다. 베이스 환경음, 중간층의 활동, 그 위의 포인트 효과, 전부 대사 아래로 눌린다. 한 번 생성하면 스템 하나다. 생성한 다섯 소리를 그럴듯한 믹스로 합치는 건 생성이 아니라 믹스의 문제이고, 차이를 들을 줄 아는 사람은 여전히 필요하다. 이 일은 긴 프롬프트로 외주를 줄 수 없다.
셋째는 동기화. 화면과 따로 생성한 소리는 화면에 맞춰 놓아야 한다. 프레임 단위 배치는 타임라인 작업이고, 발이 닿은 프레임에 발소리를 확실히 얹는 텍스트 프롬프트는 없다. 그래서 재미있는 작업이 오디오와 영상을 한 번에 내보내는 모델에서 일어나고, 일부 모델이 주는 5스템 분할이 겉보기보다 큰 의미를 갖는다. 한 번의 생성이 동기화를 주고, 스템 분할이 나중에 다시 균형을 잡는 능력을 준다.
생성된 효과음에 물어야 할 세 가지
흔적 없이 도는가. 두 번 연달아 올리고 이음새에서 들어라. 숨소리가 들리면 그건 베드가 아니라 클립이고, 레벨 밑이 아니라 장면 밑에 놓을 물건이다. 이 시험에 장비는 필요 없다. 헤드폰 하나면 된다.
겹치기를 버티는가. 단독으로 인상적인 소리는 믹스에서 사라지기 쉽고, 더 나쁘면 대사와 싸운다. 쓰려는 음량보다 낮은 레벨로 효과를 요청하고 캐릭터가 살아남는지 보라. 믹서 페이더는 원래 그 일을 하라고 있는 것이다.
맞는 방에 앉는가. 리버브는 맥락이고, 맥락은 텍스트 프롬프트가 가장 못 쓰는 부분이다. 내용이 같은 두 효과음도 공간이 다르면 어긋난다. 같은 소리를 침실에 두는 것과 지하 주차장에 두는 것은 다른 일이다. 해법은 보통 프롬프트를 잘 쓰는 게 아니라 패스를 따로 돌리는 것이다.
어려운 시험은 아니다. 사운드 디자이너가 10초에 돌리는 시험이고, 이 직업이 존재하는 이유이기도 하다. 이런 엔드포인트의 가치는 그 시험을 세 개가 아니라 스무 개 후보에 돌릴 수 있다는 데 있다. 셋이면 제일 나은 걸 고르는 게 최선이지만, 스무 개면 맞는 걸 고르기 시작할 수 있다.
실무적 결과
혼자 만드는 사람에게 바뀌는 건 초안의 비용이다. 이제 화면과 같은 루프에서 소리를 반복할 수 있다. 둘이 함께 설계되고, 소리가 마지막 마감 공정으로 도착하지 않는다. 워크플로 개선이고, 워크플로 개선은 쌓인다.
스튜디오에게 가치는 롱테일에 있다. 라이브러리는 계획한 소리를 덮는다. 편집이 밤 11시에 요구한 그 한 소리는 덮지 못한다. 바로 그 지점이 텍스트 프롬프트가 잘하는 경우다. 구체적으로 쓸수록 머릿속 소리에 가까워진다.
툴을 만드는 사람에게 엔드포인트가 애그리게이터 위에 있다는 것 자체가 신호다. 오디오는 더 이상 별도 구매가 아니다. 렌더와 같은 요청 체인의 파라미터이고, 오디오를 독립 단계로 다루는 제품은 한 분기 안에 느리게 느껴질 것이다.
솔직한 요약. 사운드 디자이너를 대체하지 않고, 릴리스도 그렇게 말하지 않는다. 대체하는 건 사운드 디자이너의 하루 중 라이브러리를 뒤져 그럴듯하게 가까운 것을 찾는 시간이다. 아껴지는 건 판단이 아니라 검색이다. 그 시간은 들리는 것보다 크고, 후반 작업의 모두가 싫어하는 부분이다.