A aposta da Runway no Praxis-1: pré-treinamento em vídeo como atalho para cérebros robóticos

Todo programa de robótica com ambições sérias de implantação esbarra no mesmo obstáculo, e não é um obstáculo de hardware. Dados do mundo real são escassos e caros de coletar no volume que uma política generalista exige. Para domínios repletos de casos extremos, incluindo condução autônoma, robótica doméstica e trabalho em armazéns em ambientes desorganizados, não há maneira prática de reunir as demonstrações necessárias para treinar um modelo capaz de lidar com o que de fato vai acontecer.

A Runway anunciou o Praxis-1 em 30 de setembro, e seu argumento começa nesse obstáculo. O Praxis-1 é um modelo de ação de mundo (world action model) de pesos abertos que converte o pré-treinamento em vídeo em larga escala da Runway em políticas de controle para robôs reais. A empresa o está testando com os primeiros parceiros Noble Machines, Standard Bots e Ultra, cada um executando o modelo em seu próprio hardware, com um lançamento público sob pesos abertos previsto para os próximos meses.

O vídeo como substituto da teleoperação

A premissa é direta quando enunciada. O vídeo é efetivamente ilimitado, e está se tornando ainda mais à medida que os modelos generativos alcançam paridade com filmagens reais em qualidade e velocidade. As pessoas filmam e enviam mais do cotidiano a cada dia do que qualquer laboratório de robótica conseguiria capturar por meio de demonstrações teleoperadas. Se um modelo consegue aprender a estrutura do mundo físico a partir dessas filmagens, o gargalo se desloca de dados escassos de robôs para vídeo geral abundante.

A afirmação que dá peso a isso é empírica. A Runway relata que simular políticas de robô dentro de seu modelo de mundo prevê resultados do mundo real com correlação de 0,95, o que se compara favoravelmente a técnicas mais caras baseadas em reconstrução 3D. Um modelo de mundo que pode ser usado como ambiente de teste fiel muda a economia do desenvolvimento de políticas, porque a avaliação deixa de exigir hardware físico a cada iteração.

A empresa também descobriu que o desempenho das políticas melhora conforme a escala de vídeo em terceira pessoa aumenta, e conclui que o gargalo de uma política capaz passa a ser quanto vídeo geral um modelo consegue usar no treinamento. É o mesmo argumento de escalabilidade que impulsionou os modelos de linguagem, aplicado ao controle motor. Uma política que já entende plausibilidade física e comportamento de objetos a partir do pré-treinamento em vídeo parte de uma posição muito mais forte do que uma construída apenas com dados de ação.

A arquitetura por trás da aposta

O Praxis-1 é construído sobre o mesmo pré-treinamento em vídeo que gerou os modelos de mundo gerais da Runway e seu trabalho interativo e em tempo real, como Solaris e a linha GWM Worlds. A lógica dessa linhagem importa. Ensinar um modelo como os objetos se comportam, como as mãos se movem e como é uma tarefa em andamento cria ambientes dinâmicos para treinar agentes tanto em contextos digitais quanto físicos.

A Runway apresenta isso como uma vantagem cumulativa. Quanto mais o modelo entende sobre como o mundo funciona a partir de vídeo, melhor ele consegue controlar um robô em ambientes que diferem de tudo o que viu no treinamento. O objetivo declarado é um modelo de política generalista para desenvolvedores e pesquisadores de robótica que funcione em qualquer corporificação (embodiment) ou ambiente, em vez de uma política ajustada para um braço ou uma garra específicos.

É nessa ambição que entra a leitura cética. "Funciona em qualquer corporificação" é uma afirmação forte, e as evidências até agora vêm de três parceiros nomeados executando o modelo em seu próprio hardware, antes de um lançamento mais amplo. A cifra de correlação de 0,95 é medida entre a simulação dentro do modelo de mundo da Runway e os resultados do mundo real, o que valida tanto o simulador quanto a política. Ambas são úteis, e ambas são números da própria Runway neste momento.

Por que pesos abertos, e por que isso é um argumento estratégico

A Runway está lançando o Praxis-1 com pesos abertos em vez de como um modelo fechado, e o raciocínio é incomumente explícito para uma empresa que manteve a maioria de seus modelos proprietários. O anúncio enquadra isso como uma questão de competitividade dos EUA em IA física: recuperar a liderança na manufatura, acelerar a produtividade e garantir aliados exigirá, nas palavras da Runway, um nível de interoperabilidade e abertura dos modelos americanos que atualmente não existe para casos de uso físicos.

Esse é um argumento com sabor de política, e cai no meio de um debate ativo sobre quanto da pilha de IA deveria ser aberto. Para a robótica especificamente, o caso em favor de pesos abertos é mais forte do que para modelos de linguagem de fronteira. Desenvolvedores de hardware precisam executar políticas em suas próprias máquinas, com seus próprios sensores e atuadores, e uma API na nuvem que exige enviar esses sinais para fora é inadequada. Modelos de mundo abertos dão aos fabricantes de hardware flexibilidade e controle que não conseguem obter de um modelo hospedado.

Há também uma dimensão competitiva que o anúncio não declara abertamente. Boa parte do impulso em modelos abertos de vídeo e de mundo veio de laboratórios chineses. Uma empresa americana de destaque lançando pesos abertos na mesma categoria soa, em parte, como uma tentativa de definir o centro de gravidade do ecossistema antes que outro o faça.

Uma correlação de 0,95 é um número forte e merece uma tradução. Significa que, quando a Runway executa uma política candidata dentro de seu modelo de mundo e mede seu desempenho, o robô real se comporta quase da mesma maneira. Se isso se mantiver entre tarefas, a consequência prática é que uma equipe de robótica pode realizar a maior parte de seus experimentos em simulação e reservar o hardware físico para a verificação final. Dado o quão caros e lentos são os testes físicos, essa é a diferença entre rodar cem iterações em uma semana e rodar um punhado em um mês.

A questão mais difícil é a generalização. O vídeo ensina a um modelo como o mundo se parece e como os objetos tendem a se comportar, mas um robô também precisa saber o que fazer com um braço específico, em uma tarefa específica, com uma tolerância específica a falhas. O argumento da Runway é que o prior treinado em vídeo reduz a quantidade de dados específicos de tarefa necessários para chegar lá. Isso é plausível, e não comprovado em escala.

Onde isso se encaixa na corrida mais ampla da robótica

O Praxis-1 chega em um ano em que a robótica humanoide e de manufatura avançou de demonstrações para implantações. A Figure vem treinando humanoides aposentados para tarefas extremas. Fabricantes de humanoides vêm assinando pilotos em fábricas com montadoras, e a Boston Dynamics começou a testar seu robô Atlas dentro de uma instalação da Hyundai, com planos de implantação em larga escala até 2030. O fio comum é que a capacidade está melhorando mais rápido do que o pipeline de dados que a alimenta.

A contribuição da Runway é argumentar que o problema do pipeline de dados tem um atalho, e que o atalho passa pelo vídeo. Se a correlação entre resultados simulados e reais se sustentar entre parceiros e tarefas, o efeito prático é que equipes de robótica podem iterar em um modelo de mundo, reservar os testes físicos para a validação final e aprender com uma categoria de dados que continua crescendo por conta própria.

É uma afirmação significativa e não comprovada. A empresa está oferecendo acesso pré-lançamento a parceiros selecionados e convidando pesquisadores a testá-lo em seu próprio hardware. A evidência que importa não será a cifra de correlação do trabalho interno da Runway. Será se laboratórios independentes reproduzem o resultado, e se uma política treinada em grande parte com vídeo de internet em terceira pessoa lida com uma tarefa que nunca viu em uma sala onde nunca esteve. Esse é o teste que decide se o pré-treinamento em vídeo se torna a base padrão para cérebros de robôs ou continua sendo uma direção de pesquisa interessante.