← 블로그로
Ai약 10 분 읽기

영상 한 편으로 괴수 리깅까지, anymove의 두 화면 트릭

게시일 2026년 11월 10일
영상 한 편으로 괴수 리깅까지, anymove의 두 화면 트릭

모션 캡처에는 아무도 말하지 않는 확장성 문제가 있고, 그건 슈트 가격이 아닙니다. 모캡이 사람을 전제로 만들어졌다는 점입니다. 다리 두 개, 알려진 스켈레톤, 표준 골반 높이. 캐릭터가 용이거나 거대 거미이거나 화염 악마가 되는 순간 파이프라인 전체가 적용되지 않습니다.

게임과 영화는 애니메이터로 이 문제를 풉니다. 애니메이터가 레퍼런스를 보고, 크리처의 사지를 프레임 단위로 손으로 잡습니다. 레퍼런스는 걷는 사람이고 대상은 다리 여섯 개에 꼬리가 달린 무언가이기 때문입니다. 그게 실제 업무입니다. 크리처 애니메이션이 많은 항목을 가진 제작에서 가장 비싼 항목 중 하나인 이유이기도 합니다.

Patch의 anymove는 바로 그 간극을 자동화하려는 시도입니다. 스타 452개, 10월 27일 등장했고, 하는 일은 하나입니다. AI가 생성한 크리처 영상 한 편을 리깅되고 애니메이션된 GLB로 바꿉니다.

흥미로운 건 거기에 도달하는 트릭이고, 그 트릭은 카메라에 관한 것입니다.

한 프레임에 두 시점

사람 모캡이 작동하는 이유는 여러 카메라가 같은 몸을 다른 각도에서 보고, 그 시선들의 교차가 3D 위치를 주기 때문입니다. 카메라 하나는 평면 위의 2D 위치를 주고, 평면은 몸이 아닙니다.

AI가 만든 클립 주위에 카메라 두 대를 놓을 수는 없습니다. 클립이 3D에 존재하지 않기 때문입니다. 픽셀입니다.

그래서 anymove는 영상 모델에 조금 이상한 것을 요청합니다. 같은 크리처를 정면과 측면에서, 동시에, 같은 프레임에 찍어 달라고. 디프티크, 즉 나란한 두 패널에 하나의 크리처, 두 시점, 같은 박자로 움직이는 그림입니다.

이제 시선이 다시 두 개입니다. 정면 시점이 X와 Y를 주고, 측면 시점이 Z와 Y를 줍니다. 교차시키면 관절이 3D 위치를 갖습니다. 깊이 모델도, 다시점 리그도 없이 평면 영상에서 복원되는 겁니다.

저장소의 원래 이름은 diptych였고 anymove로 바꾼 건 제품상 합리적인 결정이지만, 옛 이름이 기제를 더 정직하게 설명했습니다. 두 패널 프레임이 발명이고, 나머지는 배관입니다.

A wireframe skeleton rig overlaid on a creature model in a 3D viewport

단계별 파이프라인

클립 생성. 동작 하나에 AI 영상 한 편입니다. README는 편당 0.26달러로 적습니다. 용, 거대 거미, 화염 악마, 늑대 데모가 모두 이렇게 만들어졌습니다. 프롬프트가 디프티크 구도를 흔들리지 않게 유지해야 하고, 여기가 접근 전체가 실패할 수 있는 유일한 지점입니다. 모델이 패널 사이에서 프레이밍을 흘리면 두 시점이 대응을 멈추고 삼각측량은 쓰레기가 됩니다.

관절 읽기. DINOv2 기반 리더가 두 시점의 모든 관절을 찾습니다. 학습하는 모델이 이 부분이고 비싼 부분입니다. 학습에 24GB VRAM이 듭니다. 이후의 읽기는 훨씬 적게 필요합니다.

리그 맞추기. 두 시점이 “벽처럼 세워져 각 관절을 3D에 고정한다”고 README는 표현합니다. 그다음 리그를 복원된 점들에 맞춥니다. 출력은 점 구름이 아니라 본 애니메이션이고, 그게 하위 작업에서 쓸 수 있게 만듭니다.

내보내기. GLB, 그리고 애니메이션을 원본 클립 옆에 놓은 showcase.mp4. 자기 자신에게 거짓말하지 않고 비교할 수 있게 해줍니다.

마지막 산출물은 올해 더 나은 에이전트 도구들에서 보이는 것과 같은 본능입니다. 항상 나란히 붙인 결과를 만들라. 모델은 기꺼이 성공했다고 말할 것이고, 유일한 방어는 직접 보는 것입니다.

설치, 대부분이 여기서 멈춘다

요구 사항은 구체적입니다. CUDA가 되는 NVIDIA GPU, Python 3.11, PATH에 있는 Blender 5.x(또는 BLENDER 환경 변수), 새 클립을 만들려면 fal 키.

git clone https://github.com/Patch-gg/anymove && cd anymove
python3.11 -m venv .venv
.venv/bin/pip install torch==2.11.0 --index-url https://download.pytorch.org/whl/cu128
.venv/bin/pip install -r requirements.txt
cp .env.example .env    # add your FAL_KEY

torch 빌드가 고정돼 있고 CUDA 12.8 인덱스가 명시돼 있습니다. 어쩌다 깔린 파이썬에서 돌아갈 프로젝트가 아닙니다.

온보딩에서 가장 좋은 부분은 CPU 전용 스모크 테스트입니다. 저장소에 용의 포효에 대해 리더가 이미 찾아둔 관절 검출이 들어 있어서, 355MB 가중치를 받거나 Blender를 설치하지 않고도 리그를 맞출 수 있습니다.

mkdir -p runs/dragon/clips/roar
MOCAP_CREATURE=assets/dragon .venv/bin/python -m mocap.solve \
  examples/dragon_roar/det.npz \
  assets/dragon/rigged/rig_info.json \
  runs/dragon/clips/roar/motion.json

20초쯤 걸리고, 두 시점이 얼마나 잘 일치하는지 출력합니다. 이게 실제로 원하는 진단입니다. 시점 간 불일치가 이 구조 전체가 노출된 실패 모드이기 때문입니다.

전체 경로는 릴리스의 예제 크리처 메시와 학습된 리더, 클립을 씁니다. 메시 13MB, 리더 355MB, 클립 4MB입니다.

tools/fetch_examples.sh dragon --readers --clips
tools/prep.sh dragon && tools/rig.sh dragon
tools/capture.sh dragon runs/dragon/videos/roar/s1/h3max.mp4 roar

같은 크리처에 새 동작을 추가하면 클립을 두 편 찍기 때문에 약 0.52달러가 듭니다.

.venv/bin/python tools/make_prompt.py assets/dragon \
  "the dragon whips its tail from side to side, then stands still." \
  prompts/dragon/tailwhip.txt
tools/film.sh dragon tailwhip h3max 1,2
tools/capture.sh dragon runs/dragon/videos/tailwhip/s1/h3max.mp4 tailwhip

정말로 어려운 것

리타게팅입니다. 관절 위치를 복원하는 것과, 그것을 특정 뼈 길이와 특정 레스트 포즈를 가진 리그에 매핑하는 것은 다른 문제입니다. 용의 리그 목이 복원된 점들이 시사하는 것보다 길면, 목이 이상하게 휘거나 머리가 떠 있습니다. README의 표현, “리그가 점들 위에 안착한다”는 리타게팅보다 피팅을 뜻하고, 그게 더 쉽고 더 정직한 선택입니다. 애니메이션은 리그 비율이 클립과 얼마나 맞는지에 달려 있습니다.

발 접지입니다. 모든 모캡 파이프라인이 발 미끄러짐과 씨름하고, 생성 영상에서 두 시점으로 푸는 방식에는 지면도, 힘 데이터도, 물리 제약도 없습니다. 미끄러지는 용은 관절이 아무리 좋아도 가짜로 보입니다.

가림입니다. 두 시점이 도움이 되지만 딱 둘입니다. 두 패널 모두에서 몸 뒤에 가린 사지는 추론해야 하고, 모델은 그럴듯한 무언가를 지어냅니다.

경제성, 이게 진짜 이야기

클립당 26센트. 읽고 맞추는 데 1분 이내. 저장소에 예제 크리처 네 마리, 각자 리그와 프롬프트와 리더를 갖고 있습니다.

대안과 비교해 보십시오. 애니메이터, 하루, 수정 사이클. 공정한 비교는 아닙니다. 품질이 같지 않고, 히어로 캐릭터의 시그니처 동작을 이걸로 출시할 사람은 없습니다. 하지만 배경 크리처, 적 변형, 군중 채우기, 또는 몬스터가 화면에 2초만 나오는 트레일러의 40초에는 26센트가 그 샷을 할지 말지에 대한 논쟁을 통째로 없앱니다.

올해의 패턴이 또 여기 있습니다. “AI가 공예를 대체한다”가 아닙니다. AI는 버릴 예정이던 버전의 비용을 무너뜨리고, 공예는 살아남는 결정 쪽으로 올라갑니다.

해볼 만한가

NVIDIA 카드와 Blender 설치, 그리고 아끼는 크리처 리그가 있다면 그렇습니다. 다만 전체 파이프라인이 아니라 CPU 스모크 테스트부터 시작하십시오. 20초 걸리고, 당신의 데이터에서 두 시점이 일치하는지를 알려줍니다. 돈을 쓰기 전에 중요한 유일한 질문입니다.

Mac이라면 리더 학습은 불가능하고 피팅은 이론입니다. 저장소가 Apache-2.0이니 포팅할 수는 있습니다. 이번 달에는 안 하겠습니다.

관련 글