← 블로그로
Ai약 10 분 읽기

영상 속 인물을 바꾸고, 목소리는 원본으로 되돌린다

게시일 2026년 11월 11일
영상 속 인물을 바꾸고, 목소리는 원본으로 되돌린다

Genjustsu라는 저장소가 10월 6일 등장했다. 1,454스타와 함께, 제목 대신 붙은 문장 하나를 달고. 당신의 장면에, 새로운 인물을.

로컬 UI와 에이전트 워크플로로 영상의 피사체를 바꾼다. 컬러 뎁스, SAM 3 마스크, 그리고 Enhancor를 거치는 Seedance Edit나 Omni. 먼저 드래프트, 1080p 전에 승인, 최종 내보내기에서는 모델이 만든 소리가 아니라 원본 사운드 전체를 복원한다.

마지막 절이 두 번 읽을 만한 부분이다.

파이프라인이 실제로 하는 일

README는 아홉 단계를 나열하는데, 이상할 만큼 구체적이다. 바람이 아니라 검증 가능한 형태다.

소스를 그대로 저장한다. 오디오를 뽑고 Replicate의 Demucs로 보컬과 음악을 분리한다. 분리한 보컬을 세 반음 올리고 Rubber Band로 길이를 고정한다. 작업용 영상을 24fps, 최대 960픽셀로 정규화한다. `lucataco/depth-anything-video`에서 컬러 뎁스를 받아 돌아온 색을 그대로 쓴다. SAM 3를 돌려 뎁스 위에 원본 PNG 마스크를 만들고 정합, 피복, 배경 번짐을 확인한다. 뎁스 피사체를 원래 배경 위로 다시 합성한다.

그다음이 게이트다. 클립 전체의 마스크를 눈으로 검토해야 하고, 승인은 현재 산출물의 해시에 묶인다. 상류에서 무엇이든 바뀌면 승인은 더 이상 적용되지 않는다.

합성된 MP4는 피치를 올린 보컬을 싣고 있다. 캐릭터 참조를 붙이고 독립 오디오 트랙 없이 Seedance로 간다. 여기가 결정이 필요했던 대목이다. 영상 모델에 깨끗한 분리 보컬을 주는 것은 흉내 낼 재료를 주는 일이다. Edit은 이미지 참조를, Omni와 다중 참조는 영상 정체성 참조를 다룬다. 기본은 드래프트. 폴링하고 내려받고 생성된 오디오를 버린 뒤 원본 사운드트랙 전체를 다시 붙인다. 만족하면 1080p 패스를 승인하고 사운드트랙을 또 복원한다.

세 반음

피치 시프트는 가장 흥미로운 미설명 단계이고, README는 설명하지 않는다.

이유는 설계의 명시가 아니라 추정일 테니 그렇게 다루자. 길이를 유지한 채 보컬을 세 반음 올리면, 원래 목소리를 원래 피치로 넘기지 않으면서 입 모양에 맞는 오디오 트랙이 나온다. 길이가 고정되므로 립싱크는 살아남는다. 모델이 듣는 것은 그럴듯할 만큼 가깝고, 깨끗한 음성 샘플은 되지 않을 만큼 먼 소리다.

의도가 무엇이든 완성 파일에 미치는 효과는 분명하다. 마지막에 원본 사운드트랙이 온전한 형태로 돌아온다. 결과물은 소스 오디오를 유지하고 그림을 바꾼다. 보통의 거래를 뒤집은 것이다. 대부분의 영상 도구는 생성한 프레임에 맞춰 소리를 생성한다. 이것은 소리를 불변량으로 취급한다.

그 선택에는 기술적 형태와 법적 형태가 함께 있다. 목소리는 그 사람의 것이다. 모델이 깨끗하게 받지 않고 내보내기가 생성된 대체물을 쓰지 않도록 워크플로가 짜여 있다.

해시에 묶인 승인이 진짜 기여

마스크 필수 검토는 특별하지 않다. 특별한 것은 승인이 산출물 해시에 묶여 있다는 점이다.

결과를 읽어 보자. 승인은 마음의 상태가 아니라 특정 파일 묶음에 대한 서명이다. 마스크를 바꾸고, 뎁스 패스를 바꾸고, 합성을 바꾸면 서명은 무효가 된다. 생성은 낡은 승인 위로 진행되지 않는다.

사람 검토 단계를 끼운 제작 파이프라인을 돌려 본 사람은 이것이 막는 실패를 안다. 검토자가 버전 4를 승인한다. 수정이 들어가 버전 5가 렌더링되고, 큐가 돌아 버전 5가 나간다. 해시 결속은 승인이 순간이 아니라 바이트를 가리키게 해 그 틈을 닫는다.

같은 논리의 세부가 둘 더 있다. 드래프트가 최종보다 싸므로 승인은 960픽셀과 1080p에서 두 번 일어난다. 승인은 작업 ID가 아니라 산출물에 묶이므로, 같은 작업을 옛 서명 그대로 새 입력으로 다시 돌릴 수 없다.

돌리는 데 필요한 것

Python 3.12 이상, Rubber Band CLI, cloudflared. macOS라면 `brew install rubberband cloudflared`. Ubuntu, Debian, WSL이라면 `sudo apt install rubberband-cli python3-venv`에 cloudflared를 더한다. 그다음:

bash setup.sh

분리된 virtualenv를 만들고 요구사항을 설치하고 빈 `.env`를 만들고 의존성을 점검한다. 자신의 `ENHANCOR_API_KEY`와 `REPLICATE_API_TOKEN`을 채운다. 그다음 `./start.command`가 `127.0.0.1:8770`에서 UI를 열고, `doctor.py --require-keys`가 아직 빠진 것을 알려준다.

cloudflared 의존성은 장식이 아니다. Enhancor는 웹훅 URL을 요구하므로, 런처는 직접 설정하지 않았을 때 콜백 전용 Quick Tunnel을 띄운다. UI와 미디어는 localhost에 남고, 터널은 콜백을 받기 위해서만 존재한다. 네이티브 Windows 사용자는 WSL2를 쓰라고 안내된다.

기본 호스티드 구성에는 로컬 모델 가중치도 GPU도 필요 없다. 이것이 핵심 아키텍처 결정이다. 무거운 작업은 남의 API이고, 저장소는 오케스트레이션과 검토 게이트와 오디오 수술이다.

에이전트 경로도 있다. 폴더를 코딩 에이전트로 열고 `docs/SETUP-AGENT.md`와 `.agents/skills/tein-video-workflow/SKILL.md`를 가리키면, OS를 감지하고 사전 요구사항을 설치하고 환경을 만들고 로컬 테스트를 돌리고 앱을 띄우고 준비 상태를 확인한다. README에 이걸 위한 프롬프트가 들어 있고, 끝에 눈여겨볼 지시가 붙는다. 유료 생성을 제출하지 말 것.

퍼널은 보이고, 그래도 괜찮다

저장소는 MIT다. 배너에는 TEIN AI 웨이트리스트와, 시장에서 가장 싸다고 소개된 Enhancor API 페이지 링크도 있다. 워크플로가 이런 모양인 이유는 파이프라인이 호스티드 피사체 교체 모델을 필요로 하고, 작성자가 그 접근권을 팔기 때문이기도 하다.

읽는 사람 입장에서 이것은 프로젝트가 무엇인지를 바꾼다. 완전히 오프라인으로 돌릴 수 없으니, 얻는 것은 유료 API를 둘러싼 잘 문서화된 참조 구현이다. API를 사든 말든 읽을 이유는 문서의 품질이다.

옮겨 갈 수 있는 것은 순서다. 소스를 지키고, 오디오를 분리하고, 생성 전에 정체성 연결을 끊고, 마스크에 사람 게이트를 두고, 승인을 파일에 묶고, 두 번 생성하고, 원본 사운드트랙을 복원한다. Seedance나 Enhancor에 고유한 것은 하나도 없다.

결국 어디에 닿는가

영상 피사체 교체는 오래전부터 기술적으로 가능했다. 없던 것은 브랜드나 스튜디오가 검토 자리에서 설명할 수 있는 제작 형태다. 손대지 않은 소스, 해시가 붙은 승인, 변하지 않는 목소리.

저장소는 상업적 꼬리가 달린 작은 오픈소스 프로젝트이고, 대부분 실제로 돌려 보지 않을 사람들이 읽게 될 것이다. 그래도 아홉 단계는 읽을 만하다. 모델이 제품이 아니라 여러 구성요소 중 하나일 때, 책임질 수 있는 영상 편집이 어떤 모양인지 적어 두었으니까.

관련 글