스토리보드의 순간: 왜 키프레임이 재생 시간보다 중요한가

비디오 모델들은 지난 2년 동안 얼마나 긴 클립을 생성할 수 있는지를 두고 경쟁해 왔습니다. 그 기간 내내 더 유용한 역량은 길이 숫자 아래에 숨어 있었고, 그것은 비디오 모델의 존재 목적을 바꿉니다.

핵심 숫자는 열 개의 키프레임입니다. Kling 4.0은 이전 세대의 첫 프레임-마지막 프레임 제어에서 한 단계 나아가 최대 10개의 키프레임 입력 지원을 발표했습니다. Runway의 Solaris는 디자인을 코드로 컴파일하는 대신 인터페이스를 프레임 단위로 렌더링함으로써 이 아이디어를 인접한 방향으로 더 밀고 나갑니다. 두 사례 모두 같은 전환을 가리킵니다. 모델은 즉흥적으로 만들 것이 아니라 정해진 지점을 정확히 맞추도록 요구받고 있습니다.

이 전환이 중요한 이유는 모델의 존재 목적을 바꾸기 때문입니다. 즉흥적으로 만드는 시스템은 아이디어의 원천입니다. 정해진 지점을 맞추는 시스템은 제작 단계입니다. 비디오 작업의 돈은 대부분 제작에 몰려 있고, 그래서 제어 기능이야말로 모델을 데모에서 예산 항목으로 옮기는 기능인 경우가 많습니다.

첫 프레임-마지막 프레임 제어가 할 수 없었던 일

이전 세대의 비디오 도구는 첫 프레임과 마지막 프레임, 두 프레임을 받아들이고 모델이 그 사이를 채웠습니다. 실제로 이것은 제작 도구라기보다 복권에 가까웠습니다. 시작과 끝은 지정되었지만 중간의 모든 것은 모델의 추측이었습니다. 3초 지점에서 특정 동작이 필요했던 감독은 그것을 요청할 방법이 없었습니다.

열 개의 키프레임이 해결하는 문제가 바로 이것입니다. 열 개의 제어점은 단일 보간을 여러 세그먼트로 나누고, 각 세그먼트를 연출할 수 있게 합니다. 대본에 맞춰 결과물을 내야 하는 사람에게 실질적인 결과는 샷의 중간이 더 이상 무작위가 아니게 된다는 점입니다. 특정 박자에 동작이 도착해야 한다면 그곳에 키프레임을 놓으면 모델이 그 주변을 채웁니다.

이를 뒷받침하는 부가 기능도 있습니다. Kling 4.0은 최대 15개의 멀티모달 레퍼런스를 받아들이며, 여기에는 최대 10개의 이미지, 5개의 비디오 클립, 7개의 피사체 정의가 포함될 수 있습니다. 따라서 캐릭터의 외형, 제품의 세부 사항, 장소의 모습을 시퀀스 전체에 고정할 수 있습니다. 프롬프트 길이는 8,000 토큰으로 늘어났고, 이는 분위기가 아니라 샷을 묘사하기에 충분히 깁니다.

많은 제어점에 많은 레퍼런스, 그리고 긴 프롬프트를 더한 이 조합은 1년 전의 생성 인터페이스와는 다른 종류의 도구를 뜻합니다. 채팅 상자라기보다 3D 렌더러의 제어 패널에 가깝습니다. 사용자는 계획을 가지고 도착해야 하며, 반복을 통해 계획을 발견하는 것이 아닙니다.

레퍼런스 한도는 실용적 범위가 가장 넓은 부분입니다. 시퀀스 전체에 7명의 피사체를 고정할 수 있다는 것은 반복 출연진, 반복 제품, 반복 장소가 모두 하나의 생성 작업 안에서 일관되게 유지될 수 있다는 뜻이며, 시리즈에 필요한 것이 바로 그것입니다. 피사체를 추가하기 위해 모델을 재학습할 필요는 없습니다. 레퍼런스를 추가하고 이름을 붙이면 됩니다.

감독의 일은 모양이 바뀐다

생성이 복권일 때 워크플로는 생성, 검토, 재생성이고, 감독의 기술은 확률을 높이는 프롬프트를 쓰는 데 있습니다. 생성이 정해진 지점을 맞출 때 워크플로는 설계, 키프레임 배치, 검토, 한 구간 조정이 됩니다. 기술은 프롬프트 작성에서 샷 계획으로 이동합니다.

애니메이션이나 VFX에서 일해 본 사람이라면 두 번째 워크플로를 알아볼 것입니다. 모델이 중간 프레임을 채우는 키프레임 애니메이션이며, 도구는 새로운 분야를 발명하기보다 확립된 실무에 대응합니다. 그래서 이 기능을 제작 팀이 사용할 수 있습니다. 이미 돌아가는 프로세스에 끼어들기 때문입니다.

실패 방식도 바뀝니다. 잘못된 생성은 더 이상 헛된 주사위 굴리기가 아니라, 새 키프레임이 필요한 하나의 구간입니다. 전체 샷을 재생성하며 기대하는 대신 망가진 부분만 고치면 됩니다.

프레임 단위 아이디어는 다음에 어디로 가는가

같은 논리가 Runway의 Solaris에서는 다른 형태로 나타납니다. 이는 인터페이스와 입력에 대한 반응을 한 번에 한 프레임씩 렌더링하여 디자인을 코드로 컴파일하는 단계를 제거합니다. 그 아래의 주장은 월드 모델이 픽셀을 직접 생성할 수 있으므로 중간 표현이 불필요해진다는 것입니다.

두 사례 모두 모델에 같은 질문을 던집니다. '그럴듯한 무언가를 만들어라'가 아니라 '이 특정한 순간에 이 특정한 것을 만들어라'입니다. 생성 시스템의 가치는 정해진 지점을 지키게 할 수 있을 때 급격히 올라갑니다. 그것이 초안과 납품물의 차이이기 때문입니다.

차이는 무엇이 대체되는가에 있습니다. 키프레임 제어는 샷 중간의 무작위성을 대체합니다. Solaris는 항상 손실이 있던 번역 단계, 즉 디자인과 그것이 코드로 구현된 결과가 시간이 지나며 어긋나는 단계를 제거합니다. 두 경우 모두 생성 모델이 이전에는 중개 프로세스에 속했던 작업을 흡수하고 있으며, 그것을 허용해야 하는 논리는 두 경우 모두 같습니다. 충실도가 사라지던 곳이 바로 그 중개 단계였기 때문입니다.

지켜볼 것

열린 질문은 사람들이 실제로 접근할 수 있는 모델에서 키프레임 제어가 버텨 주느냐입니다. Kling 4.0의 전체 기능은 아직 순차적으로 출시 중이며, 먼저 출시된 것은 Flash 티어이고, 출시 시점은 이전에 발표된 10월 창에서 이미 밀린 바 있습니다. 제어 기능에 관한 발표는 역사적으로 기능 자체보다 더 신뢰할 만했습니다.

두 번째 질문은 비용입니다. 정밀한 제어는 더 많은 키프레임, 더 많은 레퍼런스, 더 긴 프롬프트를 뜻하고, 초당 과금은 노브를 돌릴 때마다 청구서가 커진다는 뜻입니다. 키프레임 제어를 도입한 팀은 몇 개의 제어점이 비용을 정당화하는지 결정해야 하며, 가격 페이지가 초당 단일 요금만 제시할 때 그 계산은 명확하지 않습니다.

세 번째 질문은 인터페이스가 그에 맞게 바뀌느냐입니다. 열 개의 키프레임과 열다섯 개의 레퍼런스를 받아들이는 모델에는 텍스트 상자가 아니라 타임라인이 필요하며, 생성형 비디오를 위한 제대로 된 타임라인을 처음 만드는 벤더는 경쟁사가 아직 알아차리지 못한 문제를 해결한 셈이 될 것입니다.

그 문턱에서 AI 비디오는 더 이상 데모 범주가 아니게 됩니다. 길이는 결코 어려운 부분이 아니었습니다.

같은 전환에서 인력 구성에 대한 함의도 따라옵니다. 모델이 정해진 지점을 맞출 때, 샷을 계획할 수 있는 사람은 때때로 그런 샷을 만들어 내는 프롬프트를 쓸 수 있는 사람보다 더 가치 있어집니다. 전이되는 기술은 전통적인 제작에서 온 것들입니다. 샷이 무엇을 전달해야 하는지, 동작이 어디에 도착해야 하는지, 컷이 어떻게 느껴져야 하는지를 아는 것입니다. 그것들은 복권 시대에 평가절하되었지만 모델을 연출할 수 있게 되면서 다시 중요해집니다.

남은 질문은 누가 제어 권한에 접근하느냐입니다. 저렴한 모델과 제어 가능한 모델은 아직 수렴하지 않았고, 둘 사이의 가격 격차는 큽니다. 정밀성이 프리미엄 티어 뒤에 남는다면 실질적 혜택은 이미 제작 예산을 가진 스튜디오에 돌아갑니다. 그것이 아래로 퍼진다면 대본과 계획을 가진 개인 창작자가 예전에는 팀이 필요했던 작업을 납품할 수 있게 됩니다.