Runway의 Praxis-1 베팅: 로봇 두뇌로 가는 지름길로서의 비디오 사전 학습

진지한 배포 야심을 가진 모든 로보틱스 프로그램은 같은 벽에 부딪히는데, 그것은 하드웨어의 벽이 아니다. 실제 세계 데이터는 범용 정책이 필요로 하는 양만큼 확보하기 어렵고 수집 비용도 비싸다. 자율주행, 가정용 로보틱스, 지저분한 환경에서의 창고 작업 등 예외 상황이 넘치는 영역에서는 실제로 일어날 일을 처리할 수 있는 모델을 훈련하는 데 필요한 시연을 모을 실용적인 방법이 없다.

Runway는 9월 30일 Praxis-1을 발표했으며, 그 주장은 바로 그 벽에서 시작한다. Praxis-1은 Runway의 대규모 비디오 사전 학습을 실제 로봇용 제어 정책으로 전환하는 오픈 웨이트 월드 액션 모델이다. 회사는 초기 파트너인 Noble Machines, Standard Bots, Ultra와 함께 이를 테스트하고 있으며, 각 파트너는 자사 하드웨어에서 모델을 실행한다. 오픈 웨이트 공개는 앞으로 몇 달 안에 계획되어 있다.

원격 조작을 대체하는 비디오

그 전제는 일단 말하고 나면 단순하다. 비디오는 사실상 무한하며, 생성 모델이 품질과 속도에서 실제 영상과 동등해지면서 더욱 그렇게 되고 있다. 사람들은 매일 어떤 로보틱스 연구실이 원격 조작 시연으로 포착할 수 있는 것보다 더 많은 일상을 촬영하고 업로드한다. 모델이 그 영상에서 물리 세계의 구조를 배울 수 있다면, 병목은 희소한 로봇 데이터에서 풍부한 일반 비디오로 옮겨간다.

여기에 무게를 실어 주는 주장은 경험적이다. Runway는 자사 월드 모델 내부에서 로봇 정책을 시뮬레이션하면 실제 환경 결과를 0.95의 상관관계로 예측한다고 보고하며, 이는 더 비싼 3D 재구성 기반 기법보다 유리하게 비교된다. 충실한 테스트 환경으로 사용할 수 있는 월드 모델은 정책 개발의 경제성을 바꾼다. 왜냐하면 평가가 매 반복마다 물리 하드웨어를 필요로 하지 않게 되기 때문이다.

회사는 또한 3인칭 비디오 규모가 커질수록 정책 성능이 향상된다는 점을 발견했고, 유능한 정책의 병목은 모델이 얼마나 많은 일반 비디오로 훈련할 수 있는지가 된다는 결론을 내린다. 이는 언어 모델을 이끌었던 것과 같은 확장 논리를 운동 제어에 적용한 것이다. 비디오 사전 학습을 통해 물리적 개연성과 객체 행동을 이미 이해하는 정책은 행동 데이터만으로 구축된 정책보다 훨씬 강한 출발점에서 시작한다.

이 베팅 뒤의 아키텍처

Praxis-1은 Runway의 범용 월드 모델과 Solaris, GWM Worlds 라인 같은 상호작용형 실시간 작업을 만들어낸 것과 동일한 비디오 사전 학습 위에 구축된다. 그 계보의 논리는 중요하다. 물체가 어떻게 움직이는지, 손이 어떻게 움직이는지, 과제가 중간쯤에서 어떤 모습인지 모델에 가르치는 것은 디지털과 물리 환경 모두에서 에이전트를 훈련하기 위한 동적 환경을 만든다.

Runway는 이를 복리처럼 쌓이는 이점으로 규정한다. 모델이 비디오를 통해 세상이 작동하는 방식을 더 많이 이해할수록, 훈련에서 본 그 어떤 것과도 다른 환경에서 로봇을 더 잘 제어할 수 있다. 제시된 목표는 하나의 팔이나 하나의 그리퍼에 맞춰진 정책이 아니라, 어떤 구현체나 환경에서도 작동하는 로보틱스 개발자와 연구자를 위한 범용 정책 모델이다.

바로 그 야심에서 회의적인 해석이 나온다. “어떤 구현체에서도 작동한다”는 강한 주장이며, 지금까지의 증거는 더 넓은 출시를 앞두고 자사 하드웨어에서 모델을 실행하는 세 곳의 지명 파트너에게서 나온 것이다. 0.95라는 상관관계 수치는 Runway 월드 모델 내부의 시뮬레이션과 실제 환경 결과 사이에서 측정된 것으로, 이는 정책만큼이나 시뮬레이터를 검증하는 것이기도 하다. 둘 다 유용하지만, 현 단계에서는 둘 다 Runway 자체 수치다.

왜 오픈 웨이트인가, 그리고 왜 전략적 주장인가

Runway는 Praxis-1을 폐쇄형 모델이 아니라 오픈 웨이트로 제공한다. 대부분의 모델을 독점적으로 유지해 온 회사로서는 이례적으로 명시적인 이유다. 발표문은 이를 물리 AI에서의 미국 경쟁력 문제로 규정한다. 제조업 리더십을 되찾고, 생산성을 가속하며, 동맹을 확보하려면 Runway의 표현대로, 미국 모델이 현재 물리 사용 사례에서는 존재하지 않는 수준의 상호운용성과 개방성을 제공해야 한다는 것이다.

이는 정책색이 짙은 주장이며, AI 스택 중 얼마나 개방되어야 하는지에 대한 활발한 논쟁 한가운데에 놓인다. 특히 로보틱스에서는 오픈 웨이트의 명분이 최전선 언어 모델보다 더 강하다. 하드웨어 개발자는 자체 센서와 액추에이터를 갖춘 자사 기계에서 정책을 실행해야 하며, 그 신호를 외부로 보내야 하는 클라우드 API는 잘 맞지 않는다. 오픈 월드 모델은 하드웨어 제조사에 호스팅 모델에서는 얻을 수 없는 유연성과 통제력을 준다.

발표문이 노골적으로 언급하지 않은 경쟁적 차원도 있다. 오픈 웨이트 비디오 및 월드 모델의 추진력 상당수는 중국 연구소에서 나왔다. 저명한 미국 기업이 같은 범주에서 오픈 웨이트를 출시하는 것은 부분적으로 다른 누군가가 하기 전에 생태계의 무게 중심을 정의하려는 시도로 읽힌다.

0.95의 상관관계는 강한 수치이며, 이를 풀어 설명할 가치가 있다. 이는 Runway가 후보 정책을 자사 월드 모델 내부에서 실행하고 성능을 측정했을 때 실제 로봇이 거의 같은 방식으로 수행한다는 뜻이다. 이것이 여러 과제에서 유지된다면 실질적 결과는 로보틱스 팀이 실험의 대부분을 시뮬레이션에서 실행하고 최종 확인을 위해 물리 하드웨어를 남겨둘 수 있다는 것이다. 물리 실험이 얼마나 비싸고 느린지를 고려하면, 이는 일주일에 100회 반복을 실행하는 것과 한 달에 몇 회를 실행하는 것의 차이다.

더 어려운 질문은 일반화다. 비디오는 모델에게 세상이 어떻게 생겼고 물체가 어떻게 행동하는 경향이 있는지 가르쳐 주지만, 로봇은 또한 특정 팔로, 특정 과제에서, 특정 실패 허용 범위를 가지고 무엇을 해야 하는지 알아야 한다. Runway의 주장은 비디오로 훈련된 사전 지식이 거기에 도달하는 데 필요한 과제별 데이터의 양을 줄여 준다는 것이다. 그럴듯하지만, 규모 면에서 입증되지는 않았다.

더 넓은 로보틱스 경쟁에서 이것이 차지하는 위치

Praxis-1은 휴머노이드와 제조 로보틱스가 데모에서 배포로 이동한 해에 등장한다. Figure는 퇴역한 휴머노이드들을 극한 과제용으로 훈련해 왔다. 휴머노이드 제조사들은 자동차 제조사와 공장 파일럿을 체결해 왔고, Boston Dynamics는 2030년까지 대규모 배포 계획을 가지고 Hyundai 시설에서 Atlas 로봇 테스트를 시작했다. 공통점은 역량이 이를 뒷받침하는 데이터 파이프라인보다 더 빠르게 향상되고 있다는 것이다.

Runway의 기여는 데이터 파이프라인 문제에 지름길이 있으며, 그 지름길이 비디오를 통과한다고 주장하는 것이다. 시뮬레이션과 실제 결과 사이의 상관관계가 파트너와 과제 전반에서 유지된다면, 실질적 효과는 로보틱스 팀이 월드 모델에서 반복하고, 물리 테스트는 최종 검증용으로 남겨두며, 스스로 계속 성장하는 데이터 범주에서 배울 수 있다는 것이다.

이는 의미 있는 주장이자 입증되지 않은 주장이다. 회사는 일부 파트너에게 출시 전 접근을 제공하고 연구자들이 자체 하드웨어에서 테스트해 보도록 초대하고 있다. 중요한 증거는 Runway 내부 작업에서 나온 상관관계 수치가 아닐 것이다. 그것은 독립 연구소들이 결과를 재현하는지, 그리고 대부분 3인칭 인터넷 비디오로 훈련된 정책이 한 번도 가본 적 없는 방에서 한 번도 본 적 없는 과제를 처리하는지일 것이다. 그 시험이 비디오 사전 학습이 로봇 두뇌의 기본 토대가 될지, 아니면 흥미로운 연구 방향으로 남을지를 결정한다.