← 블로그로
Ai약 11 분 읽기

몇 단계 뒤를 예측하는 동영상 모델

게시일 2026년 11월 13일
몇 단계 뒤를 예측하는 동영상 모델

자기회귀 동영상 모델은 언어 모델과 같은 방식으로 학습해요. 모델에 앞부분을 보여주고, 다음 token이나 다음 chunk를 예측하게 하고, 비교하고, 반복해요. 이 방법은 잘 동작해요. 동시에 뚜렷한 병리가 있는데, Tencent ARC와 Nanjing University, Zhejiang University의 논문이 그걸 정면으로 짚어요.

시간적 중복은 국소적인 지름길을 부추겨요.

풀어 말하면, 연속된 프레임이 거의 같을 때 모델은 방금 본 프레임을 복사해서 살짝 밀기만 해도 좋은 점수를 받아요. 학습 목표 아래에서는 합법적인 수예요. 역학을 배우는 것과는 정반대이고요. 역학은 다음 프레임이 복사가 아닌 부분이니까요.

고치는 방법은 두 번째 예측이에요

논문이 제안하는 건 Future Chunk Prediction, 줄여서 FCP예요. 학습 중에 보조 브랜치가 현재 chunk의 중간 특징을 받아서, 시간적으로 멀리 떨어진 chunk, 즉 시퀀스에서 몇 단계 뒤의 chunk를 예측하려고 해요.

중요한 건 그 브랜치가 어디서 특징을 읽느냐예요. 최종 출력에서는 읽지 않아요. 거기는 이미 맞아야 하는 곳이니까요. 읽는 곳은 네트워크 중간, 모델이 아직 현재 클립의 내부 표현을 만드는 지점이에요. 10번째 block의 특징이 세 chunk 뒤를 예측하는 데 쓰인다면, 그 특징은 표면 텍스처에 머물지 않고 운동, 접촉, 결과를 담아야 해요.

지도 신호는 동영상 픽셀뿐이에요. 옵티컬 플로도, 행동 레이블도, 깊이도, 물리 시뮬레이터도 루프에 없어요. 보조 브랜치는 이미지 내용을 예측하고 이미지 내용으로 채점받아요. 나머지는 모델이 부산물로 스스로 배워요.

이 제약은 의미가 있어요. 물리를 의식한 동영상 연구는 대개 다른 곳에서 신호를 가져와요. 그래서 재현하기도 어렵고 실제 촬영한 영상에 적용하기도 어려워져요. FCP는 모달리티 안에 머물러요.

저자들이 주장하는 것

결론은 두 가지, 담백하게 적혀 있어요.

생성된 동영상의 물리적 일관성이 좋아져요. 물체가 순간이동하지 않고, 접촉은 미끄러지지 않고 풀리며, 다음에 무슨 일이 벌어질지에 대한 추측은 현재 상태에서 나와요. "무엇 옆에는 보통 이것이 온다" 같은 사전 지식에 기대지 않아요.

내부 표현이 의미적으로 더 구조화돼요. 동영상 생성 밖에 있는 사람에게는 두 번째 주장이 더 흥미로워요. 보조 손실이 모델의 이해 자체에 작용하고, 출력에만 머물지 않는다는 걸 시사하니까요. "다음에 무슨 일이 일어나는가"를 담도록 강제된 표현은 물체, 행위자, 결과를 담을 수밖에 없어요.

그 주장이 구체적으로 어떻게 측정됐는지는 믿기 전에 물어야 할 지점이에요. 논문이 보고하는 건 자체 평가 결과이고, 가중치는 1.3B와 5B 두 크기로 공개돼요. 둘 다 텍스트와 이미지에서 동영상을 만드는 모델이에요. Hugging Face에 데모 데이터셋이 있고 프로젝트 페이지에 샘플이 있어요. 저장소에 없는 건 독립적인 제3자 비교예요. 두 주 된 논문에서는 흔한 일이고, 다음에 누가 이걸 요약하면서 "물리를 해결했다"고 말할 때 떠올릴 만한 점이에요.

진짜 표적은 teacher forcing이에요

더 깊은 논점은 모두가 쓰고 아무도 좋아하지 않는 학습 신호에 관한 거예요. Teacher forcing은 매 단계 정답 문맥을 모델에 넣어줘요. 덕분에 학습이 안정되고 병렬화가 돼요. 그 대신 모델은 자기 실수에서 복구하는 연습을 한 번도 하지 않고, 긴 시간 축에서 일관된 내부 상태를 유지할 필요도 없어요. 정답이 계속 상태를 리셋해주니까요.

거기에 중복 프레임이 겹치면, 다음 200밀리초는 강하고 3초 뒤에는 고삐가 풀린 모델이 나와요. 긴 클립을 만들어 본 사람은 이 실패를 알아요. 피사체가 2초쯤 버티다가, 색감은 비슷한 다른 피사체가 돼요.

FCP는 롤아웃 쪽을 건드리지 않고 표현 쪽에서 이걸 공격해요. 더 긴 롤아웃을 연습시키는 건 비싸고 불안정해요. 대신 네트워크 중간이 앞일을 안다는 증거를 내놓게 해요. 더 싸고, 이미 쓰고 있는 어떤 롤아웃 방식과도 조합돼요.

광택이 나는 평평한 표면에 일렬로 선 도미노. 앞쪽 네 개는 이미 쓰러져 있어요.

증명하려면 무엇이 필요할까요

중요한 주장은 "동영상이 더 예뻐진다"가 아니에요. FCP로 학습한 모델이 더 나은 세계 모델을 가진다, 즉 내부 상태가 겉모습에 머물지 않고 물체와 결과를 따라간다는 주장이에요.

이 주장은 논문이 시도하지 않은 방식으로 검증할 수 있어요. 그리고 싸서 이름을 붙여둘 만해요. 보조 손실을 넣은 모델과 뺀 모델을 학습 후 얼려두고, 중간 특징으로 물체 영속성을 찔러봐요. 공이 의자 뒤로 굴러가는 장면의 표현에 아직 공이 남아 있을까요. 다음으로 물리에 분명히 어긋나는 이어짐을 요청해요. 떨어진 유리잔이 깨지지 않는 장면 같은 거예요. FCP 모델이 유혹에 더 오래 버티는지 재요. 둘 다 같은 seed, 같은 prompt로 돌려요.

새 벤치마크 스위트는 필요 없어요. 필요한 건 가중치를 가진 사람이고, 가중치는 공개돼 있어요. 그리고 주말 하루나 이틀이면 돼요.

돌려보려면 무엇이 필요할까요

연구 공개물치고 저장소가 소박해요. Linux, Python 3.12, CUDA 12.8이 붙은 PyTorch 2.10, conda 경로를 쓰면 FFmpeg 7.1이 필요해요. 권장 설치 방식은 FFmpeg를 먼저 설치한 뒤 `uv sync --python 3.12`를 돌리는 거예요. 아니면 conda 환경을 만든 다음 pip로 torch와 requirements.txt를 넣어도 돼요. 별난 건 없고, 특정 드라이버에 맞춰 컴파일해야 하는 커스텀 CUDA 커널도 없어요. 동영상 쪽 작업에서는 드문 일이에요.

모델 크기는 1.3B와 5B 두 가지이고, 둘 다 자기회귀 방식의 텍스트와 이미지에서 동영상으로 가는 모델이에요. 팀은 더 많은 크기와 변형을 준비 중이라고 해요. 데모 데이터셋은 가중치와 함께 공개됐어요.

솔직한 해석

학습 방법 논문이고, 아이디어가 드물게 깔끔해요. 동영상 생성에서는 깔끔한 아이디어가 아키텍처보다 빨리 채택되는 편이에요. 팀 전체를 다시 학습시킬 필요가 없으니까요.

열린 문제는 규모예요. 5B에서 도움이 되는 보조 손실이 50B에서는 희석될 수도 있고 필수가 될 수도 있어요. 누군가 실제로 돌려보기 전에는 아무도 몰라요. "의미적으로 더 구조화된 표현"이라는 말이 저자가 만들지 않은 벤치마크를 견딜 수 있는지도 같은 문제예요.

실무자에게 남는 결론은 더 작고 더 일반적이에요. 다음 한 걸음은 잘하는데 다음 3초가 나쁘다면, 문제는 용량이 아닐 수 있어요. 손실 함수가 네트워크 중간에 미래에 대한 질문을 한 번도 던지지 않았을 수 있어요. FCP는 그 질문을 던지는 방법 하나이고, 비용은 예측 헤드를 한 세트 더 붙이는 거예요. GPU 1만 시간을 더 태우는 것보다 싸요.

저장소 star는 274개예요. 제품이 붙지 않은 논문은 대개 이래요. 이 아이디어는 star 수보다 오래 살 것 같아요.

관련 글