Las imágenes satelitales ahora son datos de entrenamiento para robots

La ruta más rápida para enseñarle a una máquina un lugar nuevo quizá no sea conducirla hasta allí. Dos lanzamientos de este mes apuntan a la misma idea desde direcciones opuestas. Uno convierte imágenes satelitales en sitios de trabajo simulados para que los robots puedan practicar antes de llegar. El otro corrige la geometría que subyace a los modelos de mundo basados en video, de modo que lo que un robot imagina coincida con donde están realmente las cosas.

Bonsai Robotics, que desarrolla software de autonomía para equipos agrícolas y mineros, presentó Bonsai World el 2 de octubre. El sistema parte de imágenes satelitales de una granja, una mina u otro terreno agreste y convierte esa vista plana en una simulación 3D estructurada. Las máquinas pueden entonces ensayar rutas reales dentro de ella. La empresa afirma que puede superponer condiciones que la flota no ha encontrado físicamente, como polvo, escombros, animales, vehículos y suelo cambiante.

La computación que lo sustenta es una pila de varios proveedores. El modelo de visión Gemini de Google lee la imagen satelital y construye un mapa estructurado. El propio modelo de mundo de Bonsai, post-entrenado con más de 50 millones de muestras del mundo real recopiladas en más de un millón de acres, genera las vistas a nivel del suelo. El entrenamiento se ejecuta en máquinas virtuales Google A2 con GPUs Nvidia A100, mientras que la generación de entornos bajo demanda usa máquinas Google G4 con GPUs de servidor RTX PRO 6000 Blackwell. Los modelos Cosmos de Nvidia subyacen.

El argumento comercial tiene que ver con el tiempo de puesta en marcha. Hacer que el software de autonomía funcione en un cultivo nuevo, una máquina nueva o un sitio nuevo normalmente implica recopilar datos de campo e iterar en el lugar, lo cual es lento y costoso. Si el sistema puede ensayar primero contra una reconstrucción plausible, la máquina llega más cerca de estar lista. Bonsai dice que el enfoque reduce la recopilación de campo en lugar de reemplazarla, que es la versión honesta de la afirmación.

El problema de geometría que nadie ve

La simulación a partir de imágenes solo funciona si el 3D que produce es fiel a la realidad. Ahí es donde se vuelve interesante un artículo publicado en arXiv este mes. Un equipo de la Universidad Técnica Checa y Inria publicó DepthWorld, aceptado en la Conference on Robot Learning, y comienza con una admisión que echa por tierra muchos demos: los modelos de mundo de video actuales se entrenan solo con RGB y producen rollouts que se ven correctos fotograma a fotograma sin componerse en un mundo 3D consistente.

El fallo es fácil de imaginar. Dale a un modelo de mundo solo RGB una escena con un armario abierto y no puede distinguir la puerta abierta de una superficie sólida, así que simula un brazo robótico chocando con espacio vacío. Si usas el modelo para evaluar una política, ese tipo de error produce una señal peor que inútil, porque parece un fallo real y no lo es.

La primera solución del equipo son los datos. Construyeron un pipeline de calibración que combina profundidad estéreo aprendida con un grafo de factores conjunto, agrupando cada episodio recopilado del mismo robot físico para que el modelo pueda recuperar la cinemática compartida de ese robot junto con los parámetros extrínsecos de cámara de cada escena. Aplicado a DROID, el mayor conjunto de datos abierto de teleoperación, esto produce DROID-3D: profundidad métrica densa y parámetros extrínsecos multicámara recalibrados en más de 70.000 episodios, con un error de reproyección inferior a 0,7 píxeles en el 90 por ciento de los episodios para cámaras externas.

La segunda solución es arquitectónica. En lugar de reinicializar un modelo de video preentrenado para añadir profundidad, lo que corre el riesgo de destruir los priors visuales y de movimiento que ya aprendió, colocan RGB y profundidad lado a lado dentro de una cuadrícula latente más amplia y extienden los embeddings de posición para cubrirla. El componente preentrenado permanece intacto. La recompensa es un resultado que me sorprendió cuando lo leí: añadir profundidad como segundo objetivo de predicción mejoró la propia predicción RGB, en 1,48 dB de PSNR con el mismo presupuesto de entrenamiento.

Por qué ese número importa más allá del artículo

Un modelo de mundo solo es útil para planificar si su geometría se mantiene a lo largo de un rollout extenso, y ahí es donde la comparación con PointWorld de Nvidia se volvió interesante. PointWorld era más preciso con objetos en movimiento en un horizonte corto, pero DepthWorld se degradaba mucho menos con el tiempo, pasando de 8 a 9 milímetros de error en toda la escena, mientras que el otro pasaba de 8 a 18. Para un sistema que planifica con minutos de antelación, la curva importa más que el punto de partida.

Si se juntan Bonsai World y DepthWorld, aparece un patrón. El cuello de botella en el entrenamiento de IA física dejó de ser la computación o incluso la capacidad del modelo. Pasó a ser la calidad del mundo sintético y, en concreto, si la geometría dentro de él es métrica, calibrada y estable. Eso es un problema de ingeniería de datos antes que un problema de modelado. La contribución de DROID-3D es un pipeline más que una arquitectura: recupera poses de cámara con precisión milimétrica a partir de un conjunto de datos que nunca fue diseñado para tenerlas, y lo hace agrupando episodios en lugar de confiar en uno cualquiera.

Qué mejora y qué no

Las ganancias son reales y acotadas. Bonsai World funciona en entornos exteriores estructurados donde hay imágenes satelitales disponibles y el terreno es la variable dominante. Eso cubre bien la agricultura y la minería de superficie. Cubre mal una cocina desordenada o un pasillo de hospital, porque esos espacios no son visibles desde la órbita y su dificultad proviene de los objetos, no del suelo. El propio encuadre de la empresa, entornos agrestes y no estructurados, es una declaración de alcance tanto como una descripción de mercado.

DepthWorld tiene la limitación opuesta. Es más fuerte donde se tienen muchos episodios de un mismo robot y se puede agrupar su calibración, que es exactamente la configuración de un laboratorio de investigación y menos común en una flota desplegada con hardware mixto. El propio benchmark del artículo es un único conjunto de datos abierto.

También hay una brecha de verificación que vale la pena nombrar. Bonsai no publicó mediciones independientes de rendimiento en campo ni pesos de modelo abiertos junto con su anuncio. El modelo de mundo es una afirmación hasta que alguien lo pruebe fuera de la empresa. El código y el conjunto de datos de DepthWorld son el caso opuesto: un artículo publicado, un congreso que lo aceptó y un pipeline reproducible, por lo que probablemente influirá en cómo otros equipos construyen sus propios modelos de mundo, incluso si nadie usa este en particular.

La parte que debería preocupar a los equipos de robótica

Si los entornos sintéticos se convierten en la forma predeterminada de preentrenar la autonomía, entonces la calidad de la simulación se convierte en un punto único de fallo en muchos despliegues. Un sesgo incorporado en el generador, ya sea sobre iluminación, terreno o distribución de obstáculos, se propaga a cada máquina entrenada con él, y lo hace de forma invisible, porque las máquinas que fallan nunca llegan al campo para revelarlo.

Ese es el argumento para mantener algo de recopilación del mundo real en el ciclo, incluso cuando la versión sintética parece convincente. Los datos de campo se ganan su lugar por los ejemplos que aportan y, más importante, por la verificación que imponen al simulador. Ambos lanzamientos de este mes hacen avanzar el campo en ese frente: uno al abaratar la generación de entornos simulados y el otro al hacer honesta la geometría dentro de ellos. Ninguno elimina la necesidad de, tarde o temprano, sacar la máquina y ver qué hace.