Fotos de satélite agora são dados de treinamento de robôs

O caminho mais rápido para ensinar um novo lugar a uma máquina pode não ser levá-la até lá. Dois lançamentos deste mês apontam para a mesma ideia a partir de direções opostas. Um transforma imagens de satélite em canteiros de obras simulados, para que os robôs possam praticar antes de chegar. O outro corrige a geometria por trás dos modelos de mundo em vídeo, para que aquilo que o robô imagina corresponda a onde as coisas realmente estão.

A Bonsai Robotics, que desenvolve software de autonomia para equipamentos agrícolas e de mineração, apresentou o Bonsai World em 2 de outubro. O sistema parte de imagens de satélite de uma fazenda, de uma mina ou de outro terreno acidentado e transforma essa visão plana em uma simulação 3D estruturada. As máquinas podem então ensaiar trajetos reais dentro dela. A empresa afirma que consegue adicionar camadas de condições que a frota nunca encontrou fisicamente, incluindo poeira, detritos, animais, veículos e solo em movimento.

A computação por trás disso é uma pilha de múltiplos fornecedores. O modelo de visão Gemini, do Google, lê a imagem de satélite e constrói um mapa estruturado. O modelo de mundo da própria Bonsai, pós-treinado em mais de 50 milhões de amostras do mundo real coletadas em mais de um milhão de acres, gera as vistas em nível de solo. O treinamento roda em máquinas virtuais Google A2 com GPUs Nvidia A100, enquanto a geração de ambientes sob demanda usa máquinas Google G4 com GPUs de servidor RTX PRO 6000 Blackwell. Os modelos Cosmos, da Nvidia, ficam na base.

O argumento comercial gira em torno do tempo de entrada em operação. Fazer o software de autonomia funcionar em uma nova cultura, uma nova máquina ou um novo local normalmente significa coletar dados de campo e iterar no local, o que é lento e caro. Se o sistema puder ensaiar primeiro contra uma reconstrução plausível, a máquina chega mais perto de estar pronta. A Bonsai diz que a abordagem reduz a coleta em campo em vez de substituí-la, o que é a versão honesta da afirmação.

O problema de geometria que ninguém vê

A simulação a partir de imagens só funciona se o 3D que ela produz for fiel à realidade. É aí que um artigo publicado no arXiv neste mês fica interessante. Uma equipe da Universidade Técnica Tcheca e do Inria divulgou o DepthWorld, aceito na Conference on Robot Learning, e ele começa com uma admissão que desmonta muitos demos: os atuais modelos de mundo em vídeo são treinados apenas com RGB e produzem rollouts que parecem corretos quadro a quadro, sem compor um mundo 3D consistente.

A falha é fácil de visualizar. Dê a um modelo de mundo somente RGB uma cena com um armário aberto e ele não conseguirá distinguir a porta aberta de uma superfície sólida, então simulará um braço robótico colidindo com o vazio. Se você usa o modelo para avaliar uma política, esse tipo de erro produz um sinal pior que inútil, porque parece uma falha real e não é.

A primeira correção da equipe é de dados. Eles construíram um pipeline de calibração que combina profundidade estéreo aprendida com um grafo de fatores conjuntos, reunindo todos os episódios coletados do mesmo robô físico para que o modelo possa recuperar a cinemática compartilhada desse robô junto com os parâmetros extrínsecos de câmera de cada cena. Aplicado ao DROID, o maior conjunto de dados aberto de teleoperação, isso produz o DROID-3D: profundidade métrica densa e parâmetros extrínsecos multiviais recalibrados em mais de 70.000 episódios, com erro de reprojeção abaixo de 0,7 pixel em 90% dos episódios para câmeras externas.

A segunda correção é arquitetural. Em vez de reinicializar um modelo de vídeo pré-treinado para adicionar profundidade, o que arrisca destruir os priors visuais e de movimento que ele já aprendeu, eles dispõem RGB e profundidade lado a lado em uma grade latente mais larga e estendem os embeddings de posição para cobri-la. O componente pré-treinado permanece intacto. A recompensa é um resultado que me surpreendeu quando o li: adicionar profundidade como segundo alvo de predição melhorou a própria predição de RGB, com um ganho de 1,48 dB de PSNR com o mesmo orçamento de treinamento.

Por que esse número importa além do artigo

Um modelo de mundo só é útil para planejamento se sua geometria se mantiver ao longo de um rollout longo, e é aí que a comparação com o PointWorld, da Nvidia, ficou interessante. O PointWorld era mais preciso em objetos em movimento em um horizonte curto, mas o DepthWorld degradou muito menos ao longo do tempo, passando de 8 para 9 milímetros de erro de cena inteira, enquanto o outro foi de 8 para 18. Para um sistema que planeja com minutos de antecedência, a curva importa mais que o ponto de partida.

Junte o Bonsai World e o DepthWorld e um padrão aparece. O gargalo no treinamento de IA física deixou de ser o poder computacional ou mesmo a capacidade do modelo. Passou a ser a qualidade do mundo sintético e, especificamente, se a geometria dentro dele é métrica, calibrada e estável. Isso é um problema de engenharia de dados antes de ser um problema de modelagem. A contribuição do DROID-3D é um pipeline, não uma arquitetura: ele recupera poses de câmera precisas em nível milimétrico a partir de um conjunto de dados que nunca foi projetado para tê-las, e o faz reunindo episódios em vez de confiar em qualquer um deles isoladamente.

O que melhora e o que não melhora

Os ganhos são reais e restritos. O Bonsai World funciona em ambientes externos estruturados, onde há imagens de satélite disponíveis e o terreno é a variável dominante. Isso cobre bem a agricultura e a mineração a céu aberto. Cobre mal uma cozinha desorganizada ou um corredor de hospital, porque esses espaços não são visíveis da órbita e sua dificuldade vem dos objetos, não do solo. A própria formulação da empresa, ambientes acidentados e não estruturados, é tanto uma declaração de escopo quanto uma descrição de mercado.

O DepthWorld tem a limitação oposta. Ele é mais forte onde você tem muitos episódios de um único robô e pode agrupar a calibração deles, que é exatamente a configuração de um laboratório de pesquisa e menos comum em uma frota implantada com hardware misto. O próprio benchmark do artigo é um único conjunto de dados aberto.

Há também uma lacuna de verificação que vale nomear. A Bonsai não publicou medições independentes de desempenho em campo nem pesos de modelo abertos junto com seu anúncio. O modelo de mundo é uma alegação até que alguém o teste fora da empresa. O código e o conjunto de dados do DepthWorld são o caso oposto: um artigo publicado, um evento que o aceitou e um pipeline reproduzível, e é por isso que ele provavelmente influenciará como outras equipes constroem seus próprios modelos de mundo, mesmo que ninguém use esse especificamente.

A parte que deveria preocupar as equipes de robótica

Se os ambientes sintéticos se tornarem a forma padrão de pré-treinar a autonomia, a qualidade da simulação se torna um ponto único de falha em muitas implantações. Um viés embutido no gerador, seja em relação à iluminação, ao terreno ou à distribuição de obstáculos, se propaga para cada máquina treinada com ele, e o faz de forma invisível, porque as máquinas que falham nunca chegam ao campo para revelá-lo.

Esse é o argumento para manter alguma coleta no mundo real no ciclo, mesmo quando a versão sintética parece convincente. Os dados de campo se justificam pelos exemplos que fornecem e, mais importante, pela verificação que impõem ao simulador. Os dois lançamentos deste mês fazem o campo avançar nesse aspecto: um ao tornar barata a geração de ambientes simulados, e o outro ao tornar honesta a geometria dentro deles. Nenhum dos dois elimina a necessidade de, no fim, levar a máquina a campo e ver o que ela faz.