Wan 2.2 Animate, 단일 소비자용 GPU에 모션 캡처를 구현하다

알리바바의 통이 완샹(Tongyi Wanxiang) 팀이 Wan2.2-Animate-14B를 오픈소스로 공개했다. 이 비디오 모델은 캐릭터 애니메이션과 캐릭터 교체를 하나의 가중치 세트로 통합한다. 워크플로는 단순하다. 비디오와 캐릭터 이미지를 입력하면, 해당 캐릭터가 원본 동작을 수행하는 새 비디오가 나온다.

중요한 것은 실용성이다. 이 모델은 소비자용 하드웨어에서 실행된다. RTX 4090은 5초짜리 720p 애니메이션을 약 9분에 생성하며, 최소 VRAM 요구량은 8GB다. Apache 2.0 라이선스로 배포되어 상업적 사용이 허용된다.

해결하려는 문제

한푸를 입은 모델의 보정 사진 한 장만 가진 소규모 전자상거래 판매자가 그 사진이 제품 페이지용으로 카메라 앞에서 춤추길 원한다고 해 보자. 대안은 제한적이다. 모션 캡처 장비를 대여하는 것은 예산 밖이다. 상업용 비디오 플랫폼은 생성 한 번에 10위안 이상이 들어서, 동작을 제대로 잡기 위해 열두 번만 시도해도 수백 위안이 된다. 오픈소스 옵션은 역사적으로 480p 정도가 한계였고, 시도마다 30분이 걸렸으며, 약한 카드에서는 충돌했다.

기술이 할 수 있는 일과 개인 제작자가 감당할 수 있는 일 사이의 격차가 바로 Wan 2.2 Animate가 겨냥하는 지점이다. 이 모델은 품질에서 최고의 상업용 시스템을 능가하지는 않는다. 대신 혼자 작업하는 개인에게 실제로 필요한 품질, 비용, 접근성의 조합에서 앞선다.

그 조합이 왜 달성하기 어려운지 분명히 짚을 필요가 있다. 품질은 보통 파라미터에 비례하고, 파라미터는 VRAM에 비례하며, VRAM은 가격에 비례한다. 8GB 메모리에서 모델을 쓸 만한 품질 수준까지 끌어올리려면 원시 성능과는 무관한 작업이 필요하다. 그래서 이런 릴리스는 훈련만이 아니라 추론 엔지니어링에 투자하려는 팀에서 나오는 경향이 있다.

하나의 가중치 세트, 두 가지 작업

애니메이션과 교체는 같은 작업처럼 들리고, 실제로 대부분의 구조를 공유한다. 애니메이션에서는 연기자와 동작을 제공한다. 교체에서는 캐릭터를 제공하고, 장면에는 이미 동작을 전이하려는 연기자가 있다. 이 둘을 통합하면 두 개의 특화 모델 대신 한 번의 다운로드와 하나의 워크플로로 끝나므로, 실험하는 사람의 설정 부담과 저장 공간 부담이 모두 줄어든다.

이 모델은 동일한 가중치 세트로 모션 전이와 캐릭터 교체를 처리하는데, 이는 더 흥미로운 엔지니어링 성과다. 이들을 별도 모델로 나누는 것이 당연한 아키텍처였고, 하나의 모델이 둘 다 담당한다는 사실은 모션의 기저 표현이 작업별이 아니라 공유된다는 것을 시사한다.

그 차이는 사람들이 실제로 이 도구를 사용하는 방식에 후속 영향을 미친다. 캐릭터 교체를 쓰면 브랜드가 다시 촬영하지 않고도 같은 가상 모델을 여러 장면에 넣을 수 있는데, 이는 AI 모델이 그럴듯한 얼굴을 만들기 시작한 이후 전자상거래 판매자들이 요청해 온 워크플로다. 모션 전이를 쓰면 좋은 테이크 하나를 가진 제작자가 동작을 다시 연기하지 않고 여러 캐릭터에 재사용할 수 있다. 둘 다 효율성 전략이며, 둘 다 모델이 모션을 적용된 특정 캐릭터의 속성으로 취급하지 않는 데 달려 있다.

가격 변화가 실제로 의미하는 것

이 상황을 재정의하는 숫자는 예시 속 판매자가 즉시 알아차릴 만한 것이다. 상업용 플랫폼에서 5초 클립은 10위안이 넘는다. 4090에서는 같은 클립이 전기료와 9분의 시간만 든다. 재시도의 한계 비용은 거의 0으로 떨어지고, 재시도야말로 어떤 생성형 비디오 모델에서든 쓸 만한 결과를 얻는 방법이다. 첫 생성 결과를 그대로 쓰는 경우는 드물다.

이 변화는 예산만큼이나 워크플로를 바꾼다. 시도마다 실제 돈이 들면 제작자는 프롬프트 엔지니어링을 미리 집중적으로 하고, 비슷하게 나온 결과를 받아들인다. 시도가 무료면 반복한다. 최종 출력의 품질은 모델의 대표 벤치마크보다 누군가 얼마나 여러 번 시도할 의지가 있었는지에 더 좌우되는 경우가 많다.

솔직한 한계

오픈 가중치 비디오 모델에는 실제 제약이 따른다. Wan 2.2 Animate가 실용적이려면 괜찮은 GPU가 필요하다. 5초에 9분은 제품 페이지에는 괜찮지만 그보다 긴 작업에는 고통스럽다. 더 긴 시퀀스를 계획하는 사람은 더 강한 카드나 밤샘 배치를 예산에 넣어야 한다.

이용 가능한 증거는 대부분 벤더와 커뮤니티 데모이므로, 특이한 동작, 가림(occlusion), 특이한 조명에서의 품질은 데모 클립이 시사하는 것보다 덜 검증되어 있다. 모션 전이의 실패 사례는 손, 빠른 움직임, 복잡한 실루엣이 있는 대상에 몰리는 경향이 있다. 회전 동작에서 움직이는 댄서의 치마는 보기보다 어렵고, 데모 릴은 잘못된 테이크를 앞세우는 경우가 드물다. 프로덕션 파이프라인을 구축하는 사람은 확정하기 전에 자신의 영상으로 테스트해야 한다.

오픈 모델이 사용자에게 맡기는 경향이 있는 동의 문제도 있다. 캐릭터 교체는 그 사람이 하지 않은 연기에 얼굴을 씌우기 쉽게 만들고, 도구는 권한이 있는지 묻지 않는다. 라이선스는 상업적 사용을 허용하지만, 이는 누군가의 초상 사용을 허용하는 것과 같지 않다.

이 릴리스는 경쟁 변수가 된 라이선스 시장 안에 위치한다. 지역 예외가 없는 Apache 2.0은 Wan 2.2 Animate를 관대한 쪽에 놓으며, 이는 전체 지역을 배제하는 오픈 릴리스에 피해를 본 개발자에게 중요하다. 최근 여러 오픈 비디오 모델은 미국, EU, 영국 또는 한국을 제외하는 라이선스로 배포되어 기술적 선택을 시장 세분화 결정으로 바꾸었다. 진정으로 제한 없는 라이선스는 이제 언급할 가치가 있는 차별점이다.

오픈 가중치 릴리스가 흔히 건너뛰는 유지보수 문제가 있다. 뒤에 살아남은 팀이 없는 가중치는 빠르게 노후화되는데, 특히 최신 기술이 매달 바뀌는 비디오 생성에서는 더욱 그렇다. 커뮤니티의 초기 집계 수준 결과는 좋다. 6개월 후에도 여전히 최선의 선택인지는 통이 완샹 팀이 계속 업데이트를 내놓는지에 달려 있으며, 이는 릴리스 게시물이 약속할 수 있는 일이 아니다.

앞으로의 전망

저렴한 모션 캡처의 흥미로운 점은 엔터테인먼트를 넘어 무엇을 가능하게 하는가다. 프로덕션 촬영을 엄두도 못 내던 작은 브랜드가 이제 제품 시연 라이브러리를 구축할 수 있다. 교사는 다이어그램을 애니메이션으로 만들 수 있다. 게임 스튜디오는 캡처 스테이지 없이 캐릭터 움직임을 프로토타이핑할 수 있다. 각각은 기술이 수년 전부터 기술적으로는 가능했지만 비용과 설정 복잡성 때문에 실질적으로 불가능했던 사례다.

이 도구는 전문 모션 캡처가 아니라, 대부분의 개인 제작자가 실제로 처한 상황인 '선택지가 전혀 없는' 상태를 대체한다. 전문 파이프라인과 아무것도 없는 것 사이의 격차는 거대하며, 게이밍 카드에서 실행되는 오픈 모델로 그 격차를 메우는 것은 또 하나의 벤치마크 개선보다 창작자 경제에 더 큰 변화다.