넷플릭스 Eyeline Studios: 생성형 AI는 60%까지, 나머지 40%가 진짜 일이다

이번 달 VFX 콘퍼런스에서 나온 가장 유용한 문장은 거절이었다.

"우리는 프롬프트로 숏과 영화를 만들어내지 않습니다. 그게 우리가 하는 일이 아닙니다." 넷플릭스 계열의 VFX 스튜디오 Eyeline Studios에서 버추얼 파이오니어링 부사장을 맡고 있는 Mohsen Mousavi의 말이다. 이탈리아 토리노에서 열린 View Conference 무대였다. 그의 필모그래피에 『왕좌의 게임』 마지막 시즌이 있으니, 이 거절은 생성 모델의 능력을 모르는 데서 나온 순진함이 아니다. 일이 실제로 어디에 있는지에 대한 발언이다.

흥미로운 건 그 경계에 대한 그의 추정치다. 생성 모델은 제작을 대략 60~70%까지 끌고 갈 수 있다. 100%까지 가는 일이 가장 중요하다.

"하이브리드 프로덕션"이 실제로 뜻하는 것

Eyeline의 방식은 "숏을 생성한다"가 아니다. 라이브액션 촬영, 전통적인 시각효과, 생성 도구의 삼각 혼합이며, 그 비율은 프로젝트 단위가 아니라 숏 단위로 정한다.

워크플로는 카메라가 돌기 전에 시작된다. 생성형 아트 부서가 전통적인 아티스트들과 나란히 디자인을 탐색한다. 그다음에 오는 것이 실제로 무게의 대부분을 지는 기술이다. 스파스 세트(sparse set)다. 배우는 부분적으로 지어진 실물 세트에서 연기하고, 조명은 비교적 평평하게 준다. 주변 환경과 조명은 나중에 다시 만들고, 원래의 연기는 그대로 살린다.

Mousavi는 이것을 전통적인 아트 부서의 대체가 아니라 확장이라고 말한다. 이 표현에는 실질적인 의미가 있다. 아트 부서의 일은 늘 카메라가 무엇을 보는지를 결정하는 것이었다. Eyeline은 그 결정의 일부를 스케줄의 더 뒤로 옮기고 있다.

그 위에 볼류메트릭 캡처 층이 얹힌다. 한 장소에서 찍은 푸티지를 다른 환경으로 변환할 수 있고, 그 환경 중 일부는 그린 스크린 없이 만든다. "연기를 찍은 뒤에 빛의 자유와 카메라의 자유를 동시에 얻습니다"라고 Mousavi는 말했다. 단서를 붙였다. 배우의 정체성과 연기는 그 과정을 살아남아야 한다.

두 작품, 두 가지 다른 문제

Brazil '70: The Third Star는 1970년 월드컵 우승을 차지한 대표팀을 다룬 드라마다. Eyeline은 경기장을 관중으로 채워야 했는데, 타일처럼 반복된 느낌이 아니라 감정적으로 반응하는 것처럼 보여야 했다. 해법은 하나의 기술이 아니었다. 촬영한 관중 요소, 스프라이트, 전통적인 CG, 생성 기법을 겹겹이 쌓았다. Mousavi의 주장은 예산에 관한 것이지 예술성에 관한 것이 아니다. 같은 작업을 전통적인 VFX로 하는 것은 "그 예산 안에서는 정말, 정말 어려웠을 것"이라고 한다.

The American Experiment는 5부작 역사 다큐멘터리이고, 작업은 훨씬 조용하다. 배경 확장과 생성형 먼지, 그것을 실사 푸티지와 합성한다. 먼지는 이 기술이 진짜 강한 지점을 보여주는 좋은 예다. 볼륨감이 있고, 시대물 거리 장면 어디에나 있으며, 설득력 있게 시뮬레이션하는 데 돈이 많이 든다. 그리고 관객 중 누구도 입자 하나하나를 팩트체크하지 않는다.

Eyeline은 연기 자체는 유지한 채 배우의 겉보기 나이를 바꾸는 데모와, 촬영 후 카메라 위치와 조명을 조정하는 연구 단편도 선보였다. Eyeline의 GenFX 그룹을 이끄는 James Rustad는 부산 관객에게 Brazil '70의 규모를 숫자로 제시했다. 1,300개가 넘는 VFX 숏, 45명의 아티스트, 네 단계 워크플로—셋업, 내러티브, 룩, 딜리버리—그리고 실험과 마무리 사이에 인간의 내러티브 판단을 의도적으로 배치했다.

솔직한 부분: 유체

콘퍼런스 발표는 보통 가장 강한 데모로 끝난다. 이 발표는 가장 약한 것도 일부러 끼워 넣었다.

Eyeline은 제어 가능한 생성형 유체를 연구하고 있고, Mousavi는 현재 상태를 솔직하게 말했다. 이 시뮬레이션은 결정론적이지 않고 제어가 매우 어렵다. 목표는 속도, 점성, 난류를 키프레임으로 제어하고, 밑에 깔린 시뮬레이션을 흔들지 않으면서 거품이나 물보라를 더하는 것이다.

그리고 실제로 VFX를 해본 사람만 할 수 있는 말이 이어졌다. 시각효과에서는 유체의 물리 법칙을 깨뜨리는 것이 종종 진짜 원하는 일이라고. 진짜 물은 충분히 극적이지 않다. 필요한 것은 물리적 정확성이 아니라 연출 가능한 부정확성이다. 텍스트-투-비디오 모델이 최적화하는 대상과는 완전히 다른 목표이고, 이 스튜디오가 남의 모델에 프롬프트를 던지는 대신 자기 도구를 만드는 이유이기도 하다.

그 밖에 공개한 연구는 가우시안 스플랫 3D 캡처를 겨울에서 가을로 리스타일링한 것, 인물 연기의 AI 지원 리라이팅, 단일 카메라 녹화로 탐색 가능한 4D 장면을 구축하려는 시도다. 리라이팅 시스템을 훈련하려고 Eyeline은 40대의 동기화된 RED V-Raptor 카메라 리그를 쓰고, 더 휴대성 높은 캡처 장비도 만들어 두었다.

아무도 데모하지 않는 트레이드오프: 평평한 빛과 시선

스파스 세트는 아주 오래된 제약을 영리하게 뒤집은 것이다. 전통적으로는 카메라가 진짜를 찍을 수 있도록 세트를 짓고, 이야기에 맞춰 조명을 준다. Eyeline은 순서를 뒤집는다. 비교적 평평하고 고른 빛 아래에서 연기를 찍고, 그다음에 세계를 그 주위로 다시 짓는다.

평평한 빛이 그 대가다. 일부러 재미없게 만든다. 플레이트에 구워 넣은 재미있는 빛은 환경을 교체할 때 문제가 되기 때문이다. 더 이상 존재하지 않는 창문에서 생긴 단단한 그림자가 배우 얼굴에 이미 있는데, 그 자리에 램프를 놓을 수는 없다. 평평하게 찍어 두면 연기는 쓸 수 있는 상태로 남고, 모든 조명 결정은 하류로, 나중에 바꿀 수 있는 곳으로 밀려난다.

하류로 밀 수 없는 것은 연기 그 자체다. Eyeline의 입장은 이 점에서 일관된다. 배우의 정체성과 연기는 살아남아야 한다. 다시 지은 환경은 막대기 끝 테니스 공을 바라보던 게 화면에 드러난 테이크를 구해주지 않는다. 이 기술이 사는 것은 빛과 카메라의 자유이지, 연출로부터의 자유가 아니다.

이 스튜디오가 계속 자신을 아트 부서의 대체가 아니라 확장이라고 말하는 이유이기도 하다. 누군가는 먼저 그 방이 어떻게 생겼는지 결정해야 하고, 그래야 나중에 그것을 바꾸는 일이 가능해진다.

60/70이라는 숫자가 전부인 이유

전문 포스트프로덕션에서 마지막 30%가 무엇으로 이루어지는지 생각해 보자. 숏 안에서의 시간적 일관성, 4K 마감을 견디는 해상도, 하이다이내믹레인지, 그리고 촬영감독이 "왼쪽을 더 어둡게, 창문 빛은 하루 중 더 늦은 때로"라고 말했을 때 목요일에 그것을 반복 가능하게 받아내는 능력.

생성 모델은 앞의 60%에서 엄청나게 강하다. 앞의 60%가 새로움이라는 것이 사는 곳이기 때문이다. 마지막 30%에서 약한 것은 그곳이 일관성이 사는 곳이고, 일관성은 샘플링의 정반대이기 때문이다.

"어떤 파운데이션 모델을 쓰느냐"는 질문에 스튜디오가 어깨를 으쓱한 것도 같은 이유다. Mousavi는 작업 대부분이 자체 연구와 자체 모델에 기반하고, 외부 파트너십과 특별히 촬영한 훈련 데이터를 쓴다고 말했다. 모델은 빌리기 가장 쉬운 부분이다. 캡처 리그, 훈련 데이터, 그리고 숏을 반복 가능하게 만드는 파이프라인은 그렇지 않다.

업계가 주목해야 할 부분

넷플릭스는 7월에 약 300개 타이틀이 어떤 형태로든 생성형 AI를 사용했다고 밝혔다. Ben Affleck의 영화 제작 기술 회사 InterPositive도 인수했다. 이 두 사실을 나란히 놓으면 아티스트를 대체하는 것과 무관한 전략이 보인다. 정해진 수의 아티스트가 더 많은 숏을 커버할 수 있게 해주는 파이프라인을 사는 것이다.

Mousavi는 조달 요구사항처럼 읽히는 문장으로 계속 돌아왔다. "그것이 블랙박스가 아니라는 걸 확실히 하고 싶습니다." 촬영감독과 프로덕션 디자이너가 결과를 빚을 수 있어야 한다. 그럴 수 없다면 데모가 아무리 좋아 보여도 그 도구는 작품에 쓰이지 않는다.

이것이 지금 AI 영상의 진짜 분수령이다. 오픈 대 클로즈드가 아니고, 4K 대 1080p도 아니다. 구체적인 의도를 가진 사람이 출력을 조종할 수 있는지, 그리고 내일 감독이 마음을 바꿨을 때 다시 조종할 수 있는지다. 60%는 쉽다. 마지막 40%가 일이다.