Luma Ray3 Modify, 연기는 그대로 두고 주변 세계를 다시 협상하다

AI 영상 도구들은 이제 효과 자체를 쉬운 부분으로 만들어 놓았다. 여전히 어려운 것은 이미 비용을 치른 테이크를 망가뜨리지 않는 일이다.

대부분의 영상 생성 도구는 원본 영상을 새 클립을 만들기 위한 원재료로 취급한다. Luma의 Modify Video 도구는 다른 입장을 취한다. 직접 촬영한 연기가 가치 있는 부분이고, 그 주변의 세계는 협상 대상이라는 것이다. 2025년 6월 Dream Machine 안에서 이 기능이 처음 출시될 때 내세운 이 주장은 변하지 않았다. 변한 것은 그 아래의 모델이며 두 번 바뀌었고, 이를 둘러싼 제어 기능도 달라졌다.

이 도구가 지금 하는 일

소비자용 앱에서는 이 기능을 이제 Video To Video라고 부른다. API에서는 video_edit 요청이라고 하며, Luma가 2026년 6월 9일 출시한 Ray 3.2에서 실행된다. Ray 3.2는 키프레임 제어(클립당 최대 16개, 임의 위치 지정), 최대 8개 얼굴 동시 추적, 16비트 EXR 내보내기를 지원하는 네이티브 HDR 생성, 그리고 처음으로 제공되는 전체 API 접근을 가져왔다. 길이는 1080p에서 20초까지 확장된다.

Modify 도구 자체도 처음의 3가지 프리셋 리스타일 기능이라기보다 완전한 편집 요청에 가까운 것으로 성장했다. 출력은 540p, 720p, 1080p로 5초 또는 10초 길이로 나온다. API는 원본 영상을 18초, 200MB로 제한하며, 영상 전체에 최대 64개의 가이드 이미지를 고정할 수 있다. Luma의 안내에 따르면 이 모델은 포즈, 표정, 장면 구조 등 원본의 연기 신호를 읽고, 이를 바탕으로 무엇을 보존하고 무엇을 재구성할지 결정한다.

강도 슬라이더는 제작 결정이다

가장 중요한 제어는 강도(strength) 설정이며, 이것은 품질 슬라이더가 아니다. 원본 충실도와 생성적 자유 사이의 균형을 정하는 것으로, Luma는 이를 세 구간으로 나눈다.

Adhere는 모델을 원본의 윤곽, 피사체 배치, 재질, 환경 디테일에 가깝게 유지한다. 조명 변경, 색상 변경, 가벼운 질감 변경, 소폭의 의상 조정, 그리고 이미 승인된 샷 위에 얹는 효과에 적합한 쪽이다. 원본에 안무, 정밀한 제품 조작, 입 모양의 움직임, 의도적인 카메라 무브가 담겨 있을 때 가장 안전한 첫 테스트이기도 하다.

Flex는 눈에 띄는 의상 교체, 스타일화된 실사, 시대 배경 변경, 환경 업데이트, 사람의 비율을 유지하는 캐릭터 교체를 위한 실용적인 출발점이다. 원본 연기를 곧바로 버리지 않으면서 프롬프트와 레퍼런스가 눈에 보일 만큼 영향을 미치게 한다.

Reimagine은 원본의 기하 구조를 느슨하게 풀어 모델이 새로운 캐릭터 실루엣, 환경, 시각 언어를 만들어낼 수 있게 한다. 생명체를 조종하듯 연기하게 하거나, 배우를 재질 기반 캐릭터로 바꾸거나, 평범한 장소를 판타지 세계로 옮기는 구간이다.

알아둘 만한 특정한 실패 유형이 있다. Reimagine을 강하게 설정하면 모델이 원본 경계에 덜 묶여 변형된 피사체의 포즈로부터 움직임을 추론할 수 있다. 그 자유도가 기록된 카메라 경로를 유지하는 대신 줌이나 이동을 끌어들일 수 있다. 즉, 모델에게 재해석을 많이 요구할수록 원본 카메라 무브가 살아남기를 기대하기 어려워진다.

도구에 맞는 워크플로

여기서 유용한 원칙은 생성 전에 고정 목록(lock list)을 작성하는 것이다. 피사체 정체성, 포즈 타이밍, 카메라 경로, 의상, 배경, 조명, 제품 형상, 텍스트, 오디오를 적고 각각을 보존, 수정, 무관 중 하나로 표시한다. 다섯 가지 요소가 그대로 유지되어야 하고 재킷 색만 바뀌어야 한다면 낮게 시작한다. 배우가 다른 세계 속 유리 생명체가 되어야 한다면 높게 시작한다. 최상의 결과는 보통 요청한 변경을 명확히 완수하는 가장 낮은 설정이다. 자유도가 클수록 카메라 드리프트나 불안정한 디테일이 생길 가능성이 커지기 때문이다.

비교 방법도 여기서 따라온다. 원본, 크롭, 프롬프트, 레퍼런스를 고정한 뒤 낮은 값 하나, 중간 값 하나, 높은 값 하나로 작은 브래킷을 렌더링하고 고정 목록에 비추어 판단한다. 선택된 설정을 원본, 프롬프트, 레퍼런스와 함께 기록해 두면 이후 샷에서도 같은 결정을 재현할 수 있다.

Luma가 인프라로 자리매김하는 이유

Luma는 Ray가 소비자용 앱이 아니라 제작 볼륨을 고려한 가격의 전문 인프라라고 분명히 밝혀 왔다. 이런 맥락을 보면 그 선택은 의도적으로 보인다. 회사는 HUMAIN이 주도한 9억 달러 규모의 시리즈 C를 유치했고, 런던 사무소를 열었으며, 퍼블리시스, 아디다스, 마쓰다에서 기업용 Luma Agents 배포를 운영하고 있다. 마쓰다와의 관계는 2026년 4월 구체적인 성과로 이어졌는데, 요하네스버그의 에이전시 Boundless가 Luma Agents를 사용해 이 자동차 제조사의 첫 AI 제작 광고를 2주 이내에 완성했다.

이는 어떤 AI 영상 플랫폼이든 내놓은 것 중 가장 신뢰할 만한 실제 제작 도입 신호이며, Modify가 하는 것과 같은 약속에 기대고 있다. 광고는 실제 배우, 승인된 프레임, 감독의 의도를 사용한다. 샷 전체를 다시 생성하는 도구는 그런 파이프라인에서 쓸 수 없다. 연기를 보존하고 주변 세계를 바꾸는 도구라면 끼워 넣을 수 있다.

Ray 3.2와 Ray 3.14는 Ray3 제품군의 병렬 서브 모델이다. 2026년 1월 출시된 Ray 3.14는 길이 변경과 루프 워크플로를 담당하며, 여기서는 고정 길이 출력이 제약이 아니라 자산이 된다. Ray 3.2는 표준 비디오-투-비디오 변환과 다중 키프레임 가이드를 담당한다.

나머지 스택과 비교했을 때의 위치

Modify는 리스타일링 도구이지 범용 편집기가 아니며, 그 경계는 존중할 가치가 있다. 이를 위해 만들어진 것이 아닌 작업에는 여전히 Seedance, Kling, Wan을 찾게 되며, 흔히 집계 플랫폼에서 같은 API 키로 처리한다. Luma가 파는 것은 그 스택 안의 특정 기능이지, 스택 자체의 대체재가 아니다.

이 도구가 차별화되는 지점은 모션 보존과 키프레임 제어의 결합이다. 첫 프레임만 다루는 도구는 시작 이미지에 묶어버린다. Modify는 기록된 연기 전체를 기준으로 삼고, 그 위에 최대 64개의 가이드 이미지를 배치할 수 있게 한다. 이는 프롬프트 작성자가 클립을 생각하는 방식보다 편집자가 샷을 생각하는 방식에 더 가깝다.

예산을 잡기 전에 알아야 할 주의사항

첫째는 오디오다. 서드파티 엔드포인트에서는 Ray 3.2의 비디오-투-비디오 출력이 무음으로 돌아오므로, 리스타일 후 편집기에서 원본 트랙을 다시 붙여야 한다. Luma의 자체 출시 자료는 소비자용 앱의 오디오 처리에 대해 언급하지 않으므로, Dream Machine 버전이 소리를 어떻게 다루는지 확인하는 가장 안전한 방법은 짧은 테스트 클립이다.

둘째는 비용이다. 한 클라우드 제공업체에서 720p 5초 실행은 할인 없이 약 1.188달러이고, 10초 버전은 그 두 배다. 과금 모델이 픽셀에서 클립 단위로 바뀌어 예측은 쉬워졌지만, 테스트 렌더 3개로 구성된 브래킷의 비용도 규모가 커지면 실제 지출이 된다.

셋째는 범위다. Modify는 리스타일링 도구이지 범용 편집기가 아니다. 이를 위해 만들어진 것이 아닌 작업에는 여전히 Seedance, Kling, Wan으로 가게 되고, 흔히 같은 API 키를 통해 처리한다.

지켜봐야 할 것

검증해야 할 주장은 보존이다. Modify가 복잡한 모션과 의도적인 카메라 무브를 Flex 설정에서도 견딘다면, 상업 제작 워크플로에서 자리를 얻을 자격이 있다. 프롬프트가 야심차질 때마다 카메라가 흔들린다면, 전문가용 라벨을 붙인 스타일화 도구에 머문다. 앞으로의 두어 번의 모델 개정이 어느 쪽인지 결정할 것이다.