그린 스크린 없이: Alpha Gen과 비디오 키잉의 조용한 혁명

그린 스크린이 존재하는 이유는 깔끔한 마스크를 추출하기가 어렵기 때문입니다. 수십 년 동안 피사체를 배경에서 분리하는 가장 빠른 방법은 피사체가 절대 입지 않을 색으로 배경을 칠한 뒤, 후반 작업에서 그 색을 제거하는 것이었습니다. 배경 임대부터 출연자에게 초록색 옷을 입지 말라는 지시에 이르기까지, 이 모든 관행은 아무도 해결하지 못한 매팅 문제에 대한 우회책입니다.

10월 초, LTX는 Alpha Gen이라는 도구로 시각효과 관련 출시가 이어진 한 주를 마무리했습니다. 이 도구는 그 문제에 한 걸음 다가섭니다. 일반 RGB 클립을 넣으면 그린 스크린도, 수동 마스킹도, 프롬프트도 없이 프레임 정확도의 알파 매트를 반환합니다. 회사는 전통적인 키잉을 무너뜨리는 가장 어려운 경계, 즉 머리카락, 연기, 불, 유리, 물을 겨냥하고 있습니다.

왜 그 경계가 전부인가

키잉은 중앙에서는 쉽고 경계에서는 혹독합니다. 단색 배경 앞의 단단한 물체는 이미 해결된 사례입니다. 밝은 창문 앞의 사람 머리카락은 그렇지 않습니다. 정답이 하나의 마스크 값이 아니라 그라디언트이기 때문입니다. 각 픽셀이 부분적으로 투명하고 뒤에 있는 것에 의해 약간 색이 섞입니다.

그래서 합성 아티스트들은 머리카락이 바람에 흔들리는 몇 초짜리 장면을 위해 프레임마다 마스크를 그리는 로토스코핑에 몇 시간을 쏟습니다. 이는 느리고 비싸며, 스튜디오가 할 수만 있다면 내일이라도 자동화하고 싶어 할 작업입니다. 또한 “그린 스크린 없이”라는 말이 처음 들리는 것보다 더 흥미로운 주장인 이유이기도 합니다. 바로 그 경계가 오늘날 사람이 개입해야 하는 지점이기 때문입니다.

만약 실제로 통한다면 무엇이 바뀌는가

Alpha Gen이 바꿀 첫 번째는 영상 소재의 출처입니다. 어떤 클립에서든 매트를 추출할 수 있다면, 장면을 배경을 염두에 두고 계획할 필요가 없어집니다. 그러면 합성을 위해 촬영된 적이 없어 이전에는 사용할 수 없었던 스톡 영상, 휴대폰 영상, 아카이브 자료가 열립니다.

두 번째는 일정입니다. 로토스코핑은 많은 VFX 작업의 핵심 경로에 놓여 있습니다. 부분적인 자동화만으로도 그 작업을 더 앞당기고 더 저렴하게 만들어, 예전에는 전담 로토 부서가 필요했던 장면을 더 작은 팀이 시도할 수 있게 합니다.

세 번째 효과는 더 미묘합니다. 매팅이 저렴해지면 편집자는 더 많이 재사용합니다. 깔끔한 매트가 있어야 피사체를 새 배경으로 옮기거나, 장면을 확장하거나, 복잡한 장면에서 제품을 분리할 수 있습니다. 그 작업의 비용을 낮추면 어떤 영상이 일회용이 아니라 재사용 가능한 것으로 취급되는지가 달라집니다.

더 넓게 본 VFX 주간

Alpha Gen은 혼자 등장하지 않았습니다. 같은 시기에는 파이프라인의 눈에 띄지 않는 중간 단계를 겨냥한 다른 움직임도 있었습니다. NVIDIA의 Sana 프로젝트 연구진은 모든 생성기의 저해상도 출력을 선명한 2K 또는 4K 영상으로 바꾸는 원스텝 정제 모델 SoL-Refiner를 공개했으며, 팀은 엔드투엔드 기준 최대 8.91배 빠르다고 보고했습니다. LTX 자체의 2.5 모델들은 거친 Blender 초안을 완성된 장면으로 바꾸는 아이디어를 밀어붙여 왔습니다.

함께 읽으면 주제는 더 큰 모델이 아닙니다. 배관입니다. 정제, 매팅, 그리고 깔끔한 소재를 장면으로 변환하는 일은 생성된 프레임과 시퀀스에 넣을 수 있는 결과물 사이의 단계이며, 실제 마찰이 많이 발생하는 곳입니다.

스튜디오가 실제로 도입하는 방식

도입은 한 번에 일어나는 경우가 드물며, 매팅은 그 이유를 잘 보여주는 예입니다. 스튜디오는 모델이 좋아졌다고 해서 그린 스크린 스테이지를 없애지 않습니다. 대신 그린 스크린이 애초에 실용적이지 않았던 장면부터 자동 매팅을 사용하기 시작합니다. 다큐멘터리용으로 라이선스한 아카이브 영상, 출연자가 제출한 휴대폰 클립, 현장에서 촬영해 다시 찍을 수 없는 제품 장면 등이 그렇습니다. 이는 기존 워크플로에 답이 아예 없었던 사례이며, 새 도구가 처음 발판을 마련하는 지점입니다.

거기서부터 로토스코핑이 가능하지만 느렸던 장면으로 퍼집니다. 순서는 경제성이 결정합니다. 바람에 날리는 머리카락이 있는 걷는 장면에 사흘을 쓰던 합성 아티스트는 먼저 이 도구로 1차 패스를 만든 뒤, 모델이 틀린 2퍼센트를 정리합니다. 사람이 여전히 모든 프레임을 만지더라도 순 절감은 실제입니다. 어려운 부분은 결코 프레임 전체가 아니었기 때문입니다. 바로 경계였고, 이제 사람은 그 부분을 처음부터 만드는 대신 고칠 수 있습니다.

한 가지 더 짚을 만한 결과가 있습니다. 매팅이 저렴해지면 그에 대한 수요는 늘어납니다. 로토 예산이 너무 높아서 배경 변경을 건너뛰었던 프로젝트가 이제는 이를 고려할 것입니다. 파이프라인 개선이 보통 성과를 내는 방식이 그렇습니다. 같은 작업을 줄이는 것이 아니라, 이전에는 비용 때문에 불가능했던 작업을 가능하게 만드는 것입니다.

도입을 결정하는 숫자들

Alpha Gen 같은 도구가 스튜디오를 바꾸는지는 아무도 공개하지 않는 비율로 귀결됩니다. 도구가 절약하는 시간 대 사람이 그 실수를 고치는 데 쓰는 시간의 비율입니다. 로토스코핑은 유난히 잘 측정되기 때문에 좋은 척도입니다. 어려운 장면 하나는 합성 아티스트의 며칠을 잡아먹을 수 있으며, 비용은 시간만이 아닙니다. 일정입니다. 로토는 종종 장면 수명의 초반에 놓여 하위의 모든 작업을 지연시키기 때문입니다.

모델이 95퍼센트 맞는 매트를 제공한다면 순 절감은 여전히 클 수 있습니다. 남은 5퍼센트가 어차피 사람이 대부분의 시간을 쓰게 될 경계에 집중되어 있기 때문입니다. 반대로 프레임 전체에 걸쳐 80퍼센트만 맞는 결과를 준다면 절감은 사라집니다. 이미지 전체를 검증하는 비용이 마스크를 처음부터 만드는 비용과 거의 맞먹기 때문입니다. 이것이 작업을 없애주는 도구와 검토 단계를 추가하는 도구의 차이이며, 어떤 출시 데모도 여러분이 어느 쪽을 가졌는지 알려주지 못합니다.

정직한 테스트는 작고 저렴합니다. 어렵다고 알려진 경계가 있는 장면을 골라 도구에 돌리고, 수작업과 비교해 정리에 얼마나 걸리는지 시간을 재보십시오. 결정을 내리기 전에 서로 다른 종류의 영상으로 세 번 해보십시오. 혁신이라고 광고된 무언가를 평가하는 지루한 방법이지만, 그 혁신이 실제 작업에까지 닿는지 알아내는 유일한 방법입니다.

회의적으로 봐야 할 지점

자동 매팅은 이전에도 “거의 해결됐다”고 말해졌습니다. 초기 도구들은 쉬운 사례는 잘 처리했지만 모션 블러, 가느다란 머리카락, 복잡한 배경과 상호작용하는 투명한 재질에서 무너졌습니다. 정확히 그런 어려운 사례들을 포함한 Alpha Gen의 목표 목록은 쉬운 성공이 아니라 실패 모드에 대한 주장이므로, 독립적인 테스트가 중요할 것입니다.

또한 매트가 아닌 것도 짚을 가치가 있습니다. 완벽한 알파 채널은 피사체를 새 배경에 맞게 재조명하지 않으며, 새 장면에 맞지 않는 움직임을 고치지도 않습니다. 합성 아티스트는 여전히 예술 작업을 합니다. 다만 애초에 예술이 아니었던 부분에 쓰는 시간이 줄어들 뿐입니다.

실용적인 결론

편집이나 합성을 한다면 유용한 방법은 가장 어려운 영상으로 키잉 도구를 테스트하는 것이지, 그 자체로 가장 잘 보이는 클립으로 테스트하는 것이 아닙니다. 머리카락, 유리, 연기가 정직한 기준입니다. 도구가 이것들을 통과하면 카메라 바로 뒤에 설 자리를 얻습니다. 쉬운 장면만 통과한다면 편의 기능일 뿐, 워크플로 변화는 아닙니다.

이 이야기의 지루한 버전이 실제로 일어날 가능성이 큽니다. 매팅은 조용히 빨라지고, 로토스코핑 예산은 줄어들며, 한때 일정을 좌우했던 단계가 체크박스 하나가 됩니다. 대부분의 파이프라인 변화는 그렇게 찾아옵니다.