다른 사람의 샷에 내 배우를 넣기, 내 GPU로

Openjutsu를 알리는 데모는 단순해요. 영상을 넣고, 사람 사진을 넣고, Generate를 누르면 클립의 주인공이 사진 속 사람으로 바뀝니다.
중요한 건 그다음 문장이에요. 카메라, 컷, 움직임, 사운드는 그대로 남습니다.
이 제약이 캐릭터 교체를 영상 생성과 갈라놓아요. 모델에게 장면을 상상하라고 시키는 게 아니에요. 이미 존재하는 샷을 타이밍과 소리까지 유지한 채, 그 안의 사람만 바꾸라고 시키는 거예요. 그래서 어려운 문제는 전부 일관성 문제이고, 일관성 문제는 전부 추적 문제예요.
모델 셋, 파이프라인 하나
Openjutsu는 ComfyUI 워크플로 위에 올린 Next.js 프런트엔드예요. `@comfyorg/sdk`로 만들었고 Comfy 자체의 레퍼런스 앱 `comfy-reshoot`을 따랐어요. 그 아래에서 오픈 모델 셋이 서로 다른 세 가지 일을 해요.
MiniMax H3가 영상을 생성해요. SAM 3.1이 클립 전체에서 사람과 사물을 추적해요. Qwen3-VL 8B는 이미지와 영상 프레임을 보고 나중에 프롬프트가 되는 설명을 써요. 전부 오픈 웨이트로, 내 하드웨어에서 돌아가요.
나누는 것 자체가 설계예요. 모델 하나에게 "이 사람만 바꾸고 나머지는 건드리지 마"라고 하면 방까지 새로 그려요. 일을 쪼개면 추적기가 무엇이 바뀔지 정하고, 묘사기가 어떻게 바뀔지 정하고, 생성기는 넘겨받은 영역만 채워요.

네 가지 모드, 야심 찬 순서로
단순 모션 전이는 화면 대부분을 차지하는 한 사람을 바꿔요. 캐릭터 하나가 들어가고 하나가 나오고, 앱은 단일 교체 워크플로를 돌려요.
고급 모션 전이는 한 명에서 네 명까지 다루고, 각자 선택적인 역할을 붙일 수 있어요. 추적된 사람은 샷마다 역할에 배정되고, 캐릭터를 지정하지 않은 사람은 그대로 남아요. 캐릭터가 둘만 필요할 때 사람마다 한 번씩 패스를 돌리는 더 높은 품질의 변형도 있어요.
오브젝트 교체는 SAM이 누구를 추적하는지가 아니라 무엇을 추적하는지를 바꿔요. 재킷, 차, 머리카락을 설명하거나 사진으로 보여준 것으로 바꾸거나, 아예 지우거나, 사람은 그대로 두고 주변 배경만 바꿀 수 있어요. 다시 생성되는 건 그 영역뿐이에요.
From picture는 가장 이상하고 가장 쓸모 있는 모드예요. FLUX가 사진 속 캐릭터를 원본 영상 프레임의 몸 형태에 맞춰 배치하고, 캐릭터 사진의 배경은 유지해요. 그 정지 이미지를 검토하거나 다시 만들고 확정해요. 시각 묘사기가 그 구간을 보고 무슨 일이 일어나는지, 동작, 손에 든 것, 표정을 써서 준비된 이미지에 맞게 설명을 다시 써요. 그다음 렌더링해요.
기본값이 꺼진 Relight 스위치도 있는데, 같은 FLUX 패스에서 준비된 캐릭터의 빛을 바꿔요. 룩은 열일곱 가지이고 각각 예시 이미지가 붙어 있으며 직접 설명할 수도 있어요. 별도 옵션은 캐릭터 사진 없이 영상 속 원래 사람에게 다시 조명을 넣어요. 어떤 샷을 그게 잘린 장면에 맞추고 싶을 때 유용해요.
돌리는 데 드는 것
NVIDIA GPU예요. 작성자는 RTX 4060 Ti에서 16 GB VRAM, 64 GB 시스템 RAM으로 테스트했고, H3 int8 모델은 상주하지 않고 RAM에서 스트리밍했어요. 소비자용 카드이고 빌린 H100이 아니에요. 저장소에서 가장 고무적인 숫자예요.
ComfyUI 0.41.2 이상이 필요해요. 코어가 이제 MiniMax H3, SAM 3.1, TextGenerate를 함께 넣어주기 때문이에요. 그 위에 커스텀 노드를 한 무더기 설치해요. `comfyui-h3-oneclick-swap`은 교체와 오브젝트 계획, 사람과 역할 마스크, 회색 마네킹, 트랙 라벨링, 컷 찾기, 샷 목록, 얼굴 수정 청크를 맡아요. `ComfyUI-MiniMaxH3-Context-Loop`는 클립 루핑과 최종 합성, `ComfyUI-H3-FaceRefine`은 얼굴 추적, 크롭, SAM 얼굴 마스크, 다시 붙이기를 맡아요. 여기에 ControlNet aux, KJNodes, VideoHelperSuite, Impact Pack과 몇 가지 작은 것들이 더해져요.
모델 파일도 똑같이 구체적이에요. DMAD 4스텝 LoRA, int4의 H3 텍스트 인코더, int8의 Qwen3-VL 8B 묘사기, 그리고 from picture 경로용으로 선택인 SolarRenderer 4스텝 LoRA 한 쌍이에요.
Windows에는 `start_openjutsu.bat`이 있어서 프록시를 띄우고, 실시간 진행률을 패치하고, 앱을 빌드하고 페이지를 열어요. 수동 설치는 다섯 단계이고 꽤 생소한 수정이 하나 들어 있어요. ComfyUI를 시작하기 전에 `AIOHTTP_NOSENDFILE=1`을 설정해야 해요. 그러지 않으면 탐색하는 순간 플레이어가 보내는 첫 부분 파일 요청이 `/view`를 막아서, 재시작할 때까지 이후 다운로드가 전부 멈춰요.
프리플라이트 점검이 이 프로젝트의 좋은 아이디어예요
작업이 업로드되기 전에 Openjutsu는 선택한 워크플로를 ComfyUI의 등록 노드 목록과 모델 파일 목록에 대조해요. 빠진 팩은 설치 링크와 함께 나와요. 빠진 모델 파일은 놓일 폴더와 함께 나와요.
작은 기능인데 값어치는 그에 비하지 않아요. 대부분의 ComfyUI 워크플로는 아무도 들어본 적 없는 노드 클래스에 대한 스택 트레이스를 뿜으며 실패해요. 이건 어느 저장소를 clone하고 파일이 어디로 가는지 알려줘요. 시작도 못 할 렌더를 이십 분 기다리기 전에요.
무엇을 확인하지 않는지도 분명히 적어요. Python 의존성, 모델 무결성, 사용 가능한 VRAM이에요. 정직한 경계예요. VRAM을 확인한다고 주장하는 프리플라이트는 어차피 절반은 틀려요.
불편해지는 지점
캐릭터 교체에는 뻔한 악용 경로가 있고, 저장소도 아닌 척하지 않아요. 이 기술은 기존 영상에서 얼굴과 몸을 바꾸는 것이고, 로컬에서 돌고, 오픈 웨이트이며, 서비스로 업로드하지 않고 워터마크도 없어요. 정당한 용도는 넓어요. 배우가 올 수 없을 때의 픽업, 대역으로 하는 프리비즈, 다시 찍지 않는 의상 변경, 다른 연기자로 하는 로컬라이제이션. 부당한 용도는 검색 한 번 거리에 있어요.
실제 방어선은 모든 로컬 모델에 적용되는 것과 같아요. 도구는 정책이 아니에요. 스튜디오에는 출연 동의서와 관리 이력 규칙이 있어요. 개인에게는 관할 법률뿐인데, 대부분의 지역에서 그 법은 기술보다 몇 년 뒤에 있어요.
진짜 작업을 계획하는 사람에게 중요한 기술적 단서도 있어요. 추적은 실패해요. 가림, 빠른 컷, 프레임을 벗어나는 사람, 비슷한 옷을 입고 겹치는 두 사람. SAM 3.1은 좋지만 완벽하지 않고, 나쁜 트랙 위에 세운 교체는 예상대로 나와요. 샷 중간에 캐릭터가 몸에서 미끄러져요. 고급 모드의 샷별 역할 매칭이 이 때문에 있고, 얼굴 수정 패스도 그래요.
설치하지 않아도 읽을 만한 이유
Openjutsu의 흥미로운 주장은 아키텍처 쪽에 있어요. 설득력 있는 캐릭터 교체는 파이프라인 문제라고 말해요. 더 강한 모델 하나로는 풀리지 않아요. 바뀌어야 할 것을 추적하고, 무엇이 되어야 할지 묘사하고, 그 영역만 생성하고, 얼굴과 빛을 별도 패스로 고쳐요.
이 분해는 재사용할 수 있어요. 같은 골격이 의상 변경, 제품 배치, 배경 교체, 로컬라이제이션에 그대로 들어요. 어느 것도 더 나은 영상 모델을 필요로 하지 않아요. 필요한 건 어떤 픽셀이 움직여도 되는지 정하는 더 나은 계획이에요.
저장소는 계획, 매니페스트, 노드 목록, 실패 방식까지 내놓아요. 이 묘기가 어떻게 돌아가는지에 대해 대부분의 클로즈드 제품이 알려주지 않는 것보다 많아요.
관련 글
서버 한 대, AI 스트리머 한 명: 야간 라이브를 돌리는 코드
open-yoki는 매일 밤 Binance Square에서 방송하는 AI 진행자의 프로덕션 코드로, 성격과 목소리, 돈에 닿는 기능은 걷어냈습니다. headless Chrome이 프레임을 그리고 ffmpeg이 RTMP를 밀며, Markdown 폴더가 그녀의 기분과 올릴 글을 정합니다.
Pinky는 agent에게 당신의 폰을 맡기고, 당신이 허용을 누를 때까지 전송 버튼을 붙잡고 있습니다
Pinky는 어떤 MCP agent든 실제 iPhone이나 Android 폰에 연결하고, 승인을 프롬프트가 아닌 자체 게이트웨이에서 강제합니다. 은행 앱은 보이지 않고 비밀번호 입력란은 손댈 수 없으며, Android 13에서는 agent가 숨겨진 두 번째 화면을 받습니다.
인터페이스의 AI 티를 잡아내고 9단계로 고치는 Claude skill
unslop은 Claude Code, Codex, Antigravity에서 도는 skill로, vibecoded 화면이 어디서 싸구려처럼 보이는지를 먼저 이름 붙여 줍니다. 제품에서 방향을 잡고 나면 디자이너가 redline review를 하듯 패스를 겹쳐 고칩니다. star는 19,413개이고, slop이 무엇인지에 대한 답도 분명합니다.
세계의 법을 git에 넣은 사람들, 이제 법조문도 blame할 수 있다
global-law는 각국 법령을 git 저장소로 보관하고, 커밋 하나가 특정 날짜에 시행된 법 하나에 대응한다. 조문에 log, blame, show, diff를 돌릴 수 있고, 어느 날 각국에서 시행 중이던 법을 확인하고, 코퍼스 전체를 MCP로 어시스턴트에 넘길 수 있다.