AI 영상이 여전히 손과 얼굴에서 깨지는 이유, 그리고 이를 해결하는 순서

고객을 위해 AI 영상을 납품해 본 사람에게 물어보면 같은 불만이 돌아옵니다. 손이 이상합니다. 얼굴이 흘러가 버립니다. 캐릭터가 무언가를 집어 드는 순간까지는 모든 것이 멋져 보이지만, 그때 시청자가 시선을 떼지 못하는 바로 그곳에서 환상이 무너집니다.

해결책은 모델보다 작업 순서에 더 가깝습니다. 일관된 결과를 내는 스튜디오는 스틸 이미지를 먼저 생성하고, 확인하고, 수정한 다음에야 비로소 애니메이션화합니다.

순서가 모델보다 더 중요합니다

스틸 이미지에서 망가진 엄지를 발견하는 데는 이미지 편집 한 번이면 됩니다. 영상 실행 후에 발견하면 클립을 전체 다시 실행해야 합니다. 현재 가격으로 8초 클립은 모델에 따라 적게는 몇 개의 크레딧에서 많게는 수백 크레딧까지 들지만, 이미지 편집은 그 일부에 불과합니다. 영상에서 거꾸로 작업하면 거의 공짜로 볼 수 있었던 결함에 비싼 자원을 낭비하게 됩니다.

따라서 실용적인 워크플로우는 프롬프트가 아니라 체크리스트입니다. 프레임을 생성합니다. 손과 얼굴을 확대합니다. 망가진 부분을 수정합니다. 승인합니다. 한 번 애니메이션화합니다. 이 순서를 템플릿에 넣으면 모든 제품 샷이 같은 단계를 거치므로, 이미 추측이 너무 많은 과정에서 추측을 없앨 수 있습니다.

모델마다 고정할 수 있는 신체 구조의 범위가 다릅니다

현재 모든 비디오 모델은 어떤 형태로든 이미지 입력을 받아들이며, 일관성의 한계는 얼마나 많은 참조를 받는지, 그리고 첫 프레임과 마지막 프레임 제어를 지원하는지에 달려 있습니다. 이 제어는 덜 활용되는 지렛대입니다. 모델이 움직임의 도착점을 발명하게 하는 대신, 양 끝을 제공하면 모델이 이미 승인한 두 프레임 사이를 보간합니다.

Veo 3.1은 한 명의 인물 또는 제품에 대한 최대 3개의 애셋 이미지와 첫 프레임 및 마지막 프레임을 받습니다. 얼굴과 오디오가 모두 제대로 나와야 할 때 선택하는 모델이며, Veo 3.1 Fast는 플래그십 크레딧을 쓰기 전에 모션을 잡아보기 위해 동일한 참조 입력을 더 낮은 가격에 제공합니다. Seedance 2.0은 최대 9개의 이미지, 3개의 비디오 클립, 3개의 오디오 클립을 참조로 받으며 최대 15초까지 실행할 수 있지만, 실제 사람 얼굴에는 ByteDance의 동의와 얼굴 확인이 필요합니다. Kling 3.0은 각각 2~4개의 참조 이미지로 Elements를 만들며 클립당 최대 3개까지 사용할 수 있는데, 이는 여러 샷으로 이어지는 시퀀스에서 한 피사체를 유지하는 방법입니다. Runway Gen-4.5는 첫 프레임만 받습니다.

비교에서 나오는 실용적인 규칙은 이것입니다. 빠른 모델에서의 초안 패스는 가장 저렴한 진단입니다. Veo Fast에서 손이 실패하면 플래그십에서도 유지될 가능성이 낮으며, 더 적은 크레딧으로 그 사실을 알게 됩니다.

제품을 이미 들고 있는 상태에서 시작하세요

제작 노트에서 반복해서 등장하는 한 가지 기법이 있는데, 거의 너무 단순할 정도입니다. 제품이 이미 손에 들려 있는 상태에서 시작한 다음 카메라를 움직이세요. 모델은 새로운 그립을 형성하는 것보다 기존 그립을 훨씬 안정적으로 보존합니다. 모델에게 사람이 어떻게 무언가를 집는지 알아내라고 요구하는 것은, 그 샷의 목적과 아무 관련 없는 문제를 풀라고 시키는 것입니다.

같은 논리가 얼굴에도 적용됩니다. 알아볼 수 있는 인물이 필요한 샷이라면 참조를 제공하고 모델이 보간하게 하세요. 얼굴을 텍스트로 묘사하고 기대하는 것보다 낫습니다. 묘사는 언뜻 보면 그럴듯하지만 오래 보면 불편한 얼굴을 만들어내는데, 이는 시청자가 두 번 이상 보게 될 어떤 결과물에도 최악의 결과입니다.

클립 길이가 선택을 강제합니다

약 8초보다 긴 테이크의 경우 선택지는 Seedance 2.0과 Kling 3.0으로 좁혀지며, 이들은 최대 15초까지 실행합니다. 나머지는 모두 체이닝이 필요하고, 체이닝은 캐릭터와 사물의 일관성이 다시 무너지는 지점입니다. 그래서 첫 프레임과 마지막 프레임 제어가 그렇게 중요한 것입니다. 이는 모델이 그립을 새로 발명하지 않고도 컷을 넘어 유지할 수 있게 하는 메커니즘입니다.

스틸 우선 순서는 사실 경제적 논리입니다

이것을 제작 방식으로 받아들이면 계산은 명확해집니다. 이미지 생성과 이미지 편집은 모두 비디오 실행에 비하면 저렴합니다. 클립 비용은 길이와 해상도에 비례해 커지며, 이는 이미 비용을 지불한 뒤에 단 한 번의 실수가 도착하는 체인에서 유일한 단계입니다. 앞선 모든 단계는 비싼 한 단계를 반복하지 않아도 되게 하기 위해 존재합니다.

이는 대부분의 사람이 프롬프팅에서 가져오는 본능을 뒤집습니다. 자연스러운 행동은 전체 장면을 텍스트로 묘사하고 비디오를 바로 생성하는 것입니다. 그것이 모델을 가장 강력하게 사용하는 것처럼 느껴지기 때문입니다. 하지만 그것은 가장 적은 보장에 가장 많은 돈을 쓰는 길이기도 합니다. 프레임을 먼저 승인하면 개방형 생성이 통제된 생성으로 바뀝니다. 이제 모델은 이미 올바르다고 결정한 무언가를 애니메이션화하고 있기 때문입니다.

같은 순서는 더 미묘한 실패도 막아줍니다. 바로 프레임별로는 좋아 보이지만 움직임에서는 잘못된 샷입니다. 스틸 이미지에서는 괜찮아 보이는 손이 움직이는 순간 깨질 수 있으며, 이를 아는 유일한 방법은 지켜보는 것입니다. 즉 어느 쪽이든 지켜보게 됩니다. 문제는 당신이 고칠 수 있는 문제가 있는 클립 하나를 보는지, 아니면 돈을 내고 다시 해야만 하는 문제가 있는 클립을 보는지입니다.

모델들이 여전히 진짜로 다른 지점

모델 간의 모든 차이가 가격 등급은 아닙니다. 허용되는 참조 이미지의 수와 첫 프레임과 마지막 프레임 제어의 존재 여부는 비용뿐 아니라 가능한 것 자체를 바꿉니다. 단일 첫 프레임으로 제한된 모델은 컷을 넘어 피사체를 유지할 수 없습니다. 모델이 목표로 삼을 두 번째 참조가 없기 때문입니다.

그래서 참조 사양은 품질 평가만큼이나 주의를 기울일 가치가 있습니다. 9개의 참조 이미지를 받는 모델은 첫 프레임만 받는 모델이 할 수 없는 방식으로 시퀀스 전체에서 캐릭터를 유지할 수 있습니다. 첫 프레임만 받는 모델이 더 예쁜 단일 클립을 만든다 해도 마찬가지입니다. 토킹 헤드 샷에서는 더 예쁜 모델이 이깁니다. 반복되는 제품이 있는 짧은 시퀀스에서는 참조 예산이 더 큰 모델이 이깁니다.

첫 프레임과 마지막 프레임 제어는 대부분의 팀이 덜 활용하는 지렛대이며, 모든 비디오 모델의 핵심 약점을 해결합니다. 바로 예측할 수 없는 도착점을 발명한다는 점입니다. 양 끝을 제공하면 모델이 이미 확인한 두 프레임 사이를 보간합니다. 끝점이 실제이기 때문에 움직임은 그럴듯하게 유지되고, 일관성 문제는 더 이상 모델의 상상력에 대한 도박이 아니게 됩니다.

누가 이 작업을 할 수 있는지에 미치는 영향

순서와 참조 제어가 결합되면 수용 가능한 AI 비디오를 제작할 수 있는 사람의 범위가 넓어집니다. 후반 작업 파이프라인이 없는 작은 스튜디오도 이제 스틸 이미지를 생성하고, 이미지 편집기에서 수정하고, 일관성 있게 유지되는 샷을 애니메이션화할 수 있습니다. 예전에는 필수였던 전문가의 정리 작업 없이도 가능합니다. 기술은 망가진 프레임을 고치는 것에서 모델이 여전히 실패하는 경우를 피하는 샷을 계획하는 것으로 이동합니다.

이는 2년 전 스틸 이미지 생성에 닥쳤던 것과 같은 전환입니다. 도구가 충분히 안정되자, 작업은 상류의 아트 디렉션과 하류의 리뷰로 이동했고, 사람이 도구를 협조하게 만들기 위해 씨름하던 중간 단계는 줄어들었습니다. 비디오도 지금 그 단계에 들어서고 있으며, 프로세스를 먼저 적응시키는 팀이 다른 모든 팀이 클립을 다시 실행하는 동안 일정대로 납품할 것입니다.

그러므로 이 규율은 적어 둘 가치가 있습니다. 스틸 이미지를 생성하고, 손을 고치고, 프레임을 승인한 다음, 애니메이션화하세요. 모델이 공을 가져가고, 순서가 결과를 가져옵니다.