리깅 없이 1초에 3D 장면… Viggle의 JST-2

Viggle이 10월 19일 3D 장면을 약 1초에 생성하는 모델을 공개했다. 추론 비용은 1센트 미만이다. 두 숫자 모두 회사 자체 런칭 페이지에서 나온 값이고, NVIDIA B200에서 네트워크 지연을 제외하고 측정한 것이다. 벤더 벤치마크는 늘 그렇듯 그 정도 무게로 읽으면 된다. 다만 그 숫자 뒤에 있는 아키텍처가 숫자보다 훨씬 볼 만하다.

모델 이름은 JST-2다. JST는 Joint Space-and-Time, 즉 '시공간 결합'의 약자다. Viggle은 이걸 물리 네이티브 세계 기반 모델이라고 부른다. 이 표현은 보도자료를 꾸미는 말이 아니라 실제로 뭔가를 설명하고 있다.

'물리 네이티브'가 실제로 바꾸는 것

대부분의 비디오 모델은 픽셀을 통해 세상을 배운다. 프레임을 충분히 보면 다음 프레임이 어떻게 보일지 예측하는 데 아주 능숙해진다. 그래서 멋진 의자 샷을 만들어내고도 카메라가 돌아서는 순간 의자를 통째로 잃어버린다.

JST-2는 프레임을 쌓지 않는다. 기본 단위는 오히려 원자에 가깝다. 실제 3D 위치, 재질, 색, 질량을 갖고, 힘을 받으면 어떻게 움직이고 변형되는지가 기록된 작은 물질 조각이다. 이 단위들을 Viggle이 Physics-Native Tokens라 부르는 형태로 토큰화하고, 브라우저에서 렌더링되는 3D 가우시안 스플랫으로 디코딩한다.

실질적인 결과는 지속성이다. 시선을 돌려도 의자는 방의 일부로 남는다. 예측이 아니라 물체이기 때문이다. 결과물 주위를 돌 수 있고, 모델이 한 번도 렌더링하지 않은 구석으로 걸어가도 장면은 버틴다. 모델을 다시 돌려야 하는 건 새 내용을 추가할 때뿐이다.

Viggle이 비교 대상으로 삼은 것은 World Labs의 Marble이고, 런칭 페이지는 장면당 약 6분으로 측정했다. JST-2는 1초다. 이 차이는 튜닝의 차이가 아니라 피드포워드 생성과 장면별 최적화의 차이다. Viggle의 모델은 나중에 장면을 맞춰 넣는 대신 한 번의 패스로 3D 표현을 바로 출력한다.

{{INLINE1}}

컨텍스트 윈도는 문서가 아니라 장소

JST-2는 공간 컨텍스트 윈도로 최대 64개의 입력 뷰를 받는다. 3D 모델에게는 이상한 표현이지만 상호작용을 잘 설명한다. 세계를 뷰 하나씩 확장해 나가고, 새 뷰는 다음 내용의 컨텍스트 일부가 된다.

데모가 그렇게 돌아간다. Viggle의 런칭 필름에서 로봇이 거실에서 상자를 집어 든다. 입력한 지시가 여성을 추가하고, 이어서 아버지와 아이를 추가하고, 그다음 로봇을 방 건너편으로 보내 상자를 아이에게 건네게 한다. 카메라는 방과 로봇 자신의 시점 사이를 오간다. 이 흐름에서 장면을 처음부터 다시 돌린 순간은 한 번도 없다.

64뷰는 큰 환경에는 넉넉하지 않은 예산이고, 그래서 지켜볼 숫자다. 공간 컨텍스트 윈도는 텍스트 컨텍스트 윈도와 비슷하게 움직인다. 첫 버전은 인상적이고, 두 번째 버전이 사람들이 만드는 것을 바꾼다.

리깅, 돈이 되는 지점은 여기다

캐릭터 기능은 돈까지 거리가 가장 짧은 부분이다. JST-2는 이미지 한 장, 또는 텍스트 설명 하나를 바로 애니메이션할 수 있는 3D 캐릭터로 만든다. 별도의 리깅 단계가 없다. 아티스트가 디지털 골격을 놓고 웨이트를 칠하는 스키닝 패스도 없다.

메커니즘은 토큰 표현 안에 있다. Viggle에 따르면 Physics-Native Tokens 안의 다이내믹스 벡터가 캐릭터 각 부위가 동작에 따라 어떻게 변형되는지를 인코딩한다. 이 다이내믹스는 데이터에서 학습되므로, 모델이 내놓는 것은 메시 하나가 아니라 메시와 변형 모델의 세트다. 나중에 알아서 리깅해 주기를 바라며 메시만 던져주는 게 아니다.

Viggle은 Meshy 7.1과 Tripo H3.1을 상대로 블라인드 인간 평가를 진행했다. JST-2는 캐릭터 생성에서 둘 다 앞섰고, 격차가 가장 큰 항목은 얼굴 디테일이었다. 2D 참조에서 3D 결과로 넘어갈 때 가장 자주 잃어버리는 부분이기도 하다. 애니메이션 준비도에서도 앞섰고, 특히 손 관절과 동작 중 몸과 옷의 변형에서 차이가 났다.

약점도 Viggle은 숨기지 않는다. 복잡한 옷의 변형과 머리카락 움직임은 향후 릴리스 과제로 적혀 있다. 생성된 망토가 생성된 다리를 뚫고 지나가는 걸 본 적이 있다면, 그 두 가지가 마케팅에서 빠뜨린 말이 아니라 정직한 답이라는 걸 알 것이다.

슈트 없는 모션 캡처

JST-2는 텍스트나 실제 연기 영상에서 전신 모션도 만든다. 다른 이름으로 부르면 마커 없는 모션 캡처다. 런칭 페이지의 예시는 평범한 동작들이다. 회피와 몸 낮추기, 앞구르기, 앞차기, 힙합 그루브, 피루엣, 로봇 댄스, 복싱, 두리번거리며 걷기, 문 통과, 양치, 빠른 타이핑, 앞을 가리키기.

사람에게 어려운 동작은 하나도 없다. 리그에게는 전부 어렵다. 무게 이동과 접촉, 그리고 회복이 들어가기 때문이다. 휴대폰 영상에서 리타기팅 가능한 골격으로 옮기는 단계가 바로 지금 대부분의 작은 스튜디오가 애니메이터에게 돈을 쓰는 지점이다.

물리가 아직 가짜인 곳

여기서 붙잡아야 할 선이 하나 있다. Viggle 자체 자료에 JST-2가 충돌과 물체 상호작용에 여전히 프로그래밍된 물리 규칙을 쓴다고 적혀 있다. 다음 모델 JST-3는 그 상호작용을 사람이 규칙을 쓰는 대신 데이터에서 배우도록 개발 중이다.

그러니까 '물리 네이티브'는 표현 방식을 가리키는 말이지, 해결된 시뮬레이션이 아니다. 모델은 물체가 어디 있고 어떻게 움직이는지 안다. 두 물체가 같은 공간을 두고 다툴 때 무슨 일이 벌어지는지는 아직 모른다. 그것이 '탐험할 수 있는 세계'와 '로봇을 시험할 수 있는 세계'의 차이고, Viggle도 로봇 학습이 지금 있는 곳이 아니라 가려는 방향이라고 분명히 말한다.

Viggle은 JST-3의 목표를 게임 엔진 아래에 들어갈 수 있거나 물리 지능의 훈련장이 될 완전한 세계 시뮬레이터라고 밝혔다. 큰 주장이고, 납품일은 없다. 오늘 존재하는 것은 캐릭터 출력이 이상할 만큼 좋은 빠른 장면 생성기다.

이번 주에 실제로 할 수 있는 것

JST-2는 PINOC에서 무료로 써볼 수 있다. Viggle의 3D 캐릭터와 모션용 브라우저 앱이다. 무료 플랜은 60 크레딧을 한 번만 주고, 회사 설명으로는 약 1분 모션 또는 최대 12개의 이미지→3D 캐릭터, 그리고 모션 내보내기 1회와 캐릭터 내보내기 1회에 해당한다. 무료 티어의 크레딧은 리필되지 않고 충전도 불가능하다.

유료 티어는 연간 결제 기준 월 약 10.39달러부터 시작하고 300 크레딧을 준다. 라이선스가 중요하다. 무료 티어 결과물은 개인 프로젝트, 평가, 프로토타이핑으로 제한된다. 클라이언트 작업이나 수익화되는 모든 것에는 Starter나 Pro가 필요하다. 내보내기는 FBX 또는 GLB라서 Blender, Unity, Unreal에서 열 수 있다.

그 주장을 저렴하게 확인하고 싶다면 비용이 가장 적게 드는 순서는 이렇다. 이미지 한 장, 짧은 모션 하나, 내보내기 한 번. 모션은 초당 1 크레딧이라 5초 클립이면 5 크레딧이다. 짧게 유지하면 무료 1분 안에 아이디어 12개가 들어간다. 그리고 '짧음'은 손 관절 주장이 버티는지 무너지는지를 보는 지점이기도 하다.

진짜 변화

여기서 실제로 바뀌는 건 속도가 아니다. 에셋과 애니메이션이 이제 같이 도착한다는 것이다. 20년 동안 파이프라인은 모델링, 리깅, 애니메이션이었고, 화살표마다 다른 사람과 다른 파일 형식이 있었다.

앞의 두 화살표를 합쳐도 애니메이터가 사라지지는 않는다. 사라지는 것은 그 일에서 대부분 장부 정리였던 부분이고, 동시에 '나쁜 아이디어'의 비용이 거의 0이 된다. 포맷이 바뀌는 건 대개 그런 순간이지, 결과물이 더 예뻐지는 순간이 아니다.