Le foto satellitari sono ora dati di addestramento per i robot

La via più rapida per insegnare a una macchina un nuovo luogo potrebbe non essere portarcela. Due rilasci di questo mese indicano la stessa idea da direzioni opposte. Uno trasforma le immagini satellitari in cantieri simulati, così i robot possono esercitarsi prima di arrivare. L'altro corregge la geometria alla base dei modelli del mondo video, affinché ciò che un robot immagina corrisponda a dove le cose si trovano realmente.

Bonsai Robotics, che sviluppa software di autonomia per attrezzature agricole e minerarie, ha presentato Bonsai World il 2 ottobre. Il sistema parte da immagini satellitari di una fattoria, una miniera o altro terreno accidentato e trasforma quella vista piatta in una simulazione 3D strutturata. Le macchine possono quindi provare percorsi reali al suo interno. L'azienda afferma di poter sovrapporre condizioni che la flotta non ha incontrato fisicamente, tra cui polvere, detriti, animali, veicoli e terreno in movimento.

La potenza di calcolo alla base è uno stack multi-fornitore. Il modello di visione Gemini di Google legge l'immagine satellitare e costruisce una mappa strutturata. Il modello del mondo proprietario di Bonsai, post-addestrato su oltre 50 milioni di campioni reali raccolti su più di un milione di acri, genera le viste a livello del suolo. L'addestramento viene eseguito su macchine virtuali Google A2 con GPU Nvidia A100, mentre la generazione di ambienti su richiesta utilizza macchine Google G4 con GPU server RTX PRO 6000 Blackwell. I modelli Cosmos di Nvidia stanno alla base.

L'argomento commerciale riguarda i tempi di avvio. Far funzionare il software di autonomia su una nuova coltura, una nuova macchina o un nuovo sito normalmente significa raccogliere dati sul campo e iterare sul posto, il che è lento e costoso. Se il sistema può esercitarsi prima su una ricostruzione plausibile, la macchina arriva più vicina all'essere pronta. Bonsai afferma che l'approccio riduce la raccolta sul campo anziché sostituirla, che è la versione onesta dell'affermazione.

Il problema geometrico che nessuno vede

La simulazione da immagini funziona solo se il 3D che produce è veritiero. È qui che diventa interessante un articolo pubblicato questo mese su arXiv. Un team della Czech Technical University e di Inria ha rilasciato DepthWorld, accettato alla Conference on Robot Learning, e inizia con un'ammissione che indebolisce molte demo: gli attuali modelli del mondo video sono addestrati solo su RGB e producono rollout che sembrano corretti fotogramma per fotogramma senza comporsi in un mondo 3D coerente.

Il fallimento è facile da immaginare. Date a un modello del mondo solo RGB una scena con un armadio aperto e non riesce a distinguere la porta aperta da una superficie solida, quindi simula un braccio robotico che collide con lo spazio vuoto. Se usate il modello per valutare una policy, quel tipo di errore produce un segnale peggiore dell'inutile, perché sembra un fallimento reale e non lo è.

La prima correzione del team sono i dati. Hanno costruito una pipeline di calibrazione che combina profondità stereo appresa con un grafo fattoriale congiunto, mettendo insieme ogni episodio raccolto dallo stesso robot fisico, così il modello può recuperare la cinematica condivisa di quel robot insieme ai parametri estrinseci della camera di ogni scena. Applicata a DROID, il più grande dataset aperto di teleoperazione, questa produce DROID-3D: profondità metrica densa ed estrinseci multi-vista ricalibrati su oltre 70.000 episodi, con errore di riproiezione inferiore a 0,7 pixel sul 90 percento degli episodi per le camere esterne.

La seconda correzione è architetturale. Invece di reinizializzare un modello video pre-addestrato per aggiungere la profondità, con il rischio di distruggere i priori visivi e di movimento che ha già appreso, affiancano RGB e profondità in una griglia latente più ampia ed estendono gli embedding di posizione per coprirla. Il componente pre-addestrato rimane intatto. Il premio è un risultato che mi ha sorpreso quando l'ho letto: aggiungere la profondità come secondo obiettivo di previsione ha migliorato la previsione RGB stessa, di 1,48 dB PSNR a parità di budget di addestramento.

Perché quel numero conta al di là dell'articolo

Un modello del mondo è utile per la pianificazione solo se la sua geometria regge su un rollout lungo, ed è qui che il confronto con PointWorld di Nvidia è diventato interessante. PointWorld era più accurato sugli oggetti in movimento a breve orizzonte, ma DepthWorld degradava molto meno nel tempo, passando da 8 a 9 millimetri di errore sull'intera scena, mentre l'altro passava da 8 a 18. Per un sistema che pianifica con minuti di anticipo, la curva conta più del punto di partenza.

Mettete insieme Bonsai World e DepthWorld e emerge uno schema. Il collo di bottiglia nell'addestramento dell'IA fisica ha smesso di essere la potenza di calcolo o persino la capacità del modello. È diventata la qualità del mondo sintetico, e in particolare se la geometria al suo interno è metrica, calibrata e stabile. Questo è un problema di ingegneria dei dati prima che di modellazione. Il contributo di DROID-3D è una pipeline più che un'architettura: recupera pose della camera accurate al millimetro da un dataset che non era mai stato progettato per averle, e lo fa mettendo insieme episodi invece di fidarsi di uno qualsiasi.

Cosa migliora e cosa no

I guadagni sono reali e limitati. Bonsai World funziona su ambienti esterni strutturati dove sono disponibili immagini satellitari e il terreno è la variabile dominante. Copre bene l'agricoltura e l'estrazione mineraria di superficie. Copre male una cucina disordinata o un corridoio d'ospedale, perché quegli spazi non sono visibili dall'orbita e la loro difficoltà deriva dagli oggetti, non dal suolo. La stessa formulazione dell'azienda, ambienti accidentati e non strutturati, è un'affermazione di ambito oltre che una descrizione di mercato.

DepthWorld ha la limitazione opposta. È più forte dove avete molti episodi da un solo robot e potete mettere insieme la loro calibrazione, che è esattamente la configurazione di un laboratorio di ricerca e meno comune in una flotta operativa con hardware misto. Il benchmark dell'articolo stesso è un singolo dataset aperto.

C'è anche un divario di verifica che vale la pena nominare. Bonsai non ha pubblicato misurazioni indipendenti delle prestazioni sul campo né pesi del modello aperti con il suo annuncio. Il modello del mondo resta un'affermazione finché qualcuno non lo testa al di fuori dell'azienda. Il codice e il dataset di DepthWorld sono il caso opposto: un articolo pubblicato, una sede accettata e una pipeline riproducibile, ed è per questo che probabilmente influenzerà il modo in cui altri team costruiscono i propri modelli del mondo, anche se nessuno usa questo specifico.

La parte che dovrebbe preoccupare i team di robotica

Se gli ambienti sintetici diventano il modo predefinito per pre-addestrare l'autonomia, allora la qualità della simulazione diventa un singolo punto di guasto in molte implementazioni. Un bias incorporato nel generatore, che riguardi l'illuminazione, il terreno o la distribuzione degli ostacoli, si propaga in ogni macchina addestrata su di esso, e lo fa in modo invisibile, perché le macchine che falliscono non arrivano mai sul campo per rivelarlo.

Questo è l'argomento per mantenere un po' di raccolta nel mondo reale nel ciclo, anche quando la versione sintetica sembra convincente. I dati sul campo si ripagano attraverso gli esempi che forniscono e, cosa più importante, attraverso il controllo che impongono al simulatore. Entrambi i rilasci di questo mese fanno avanzare il settore su questo fronte, uno rendendo economica la generazione di ambienti simulati e l'altro rendendo onesta la geometria al loro interno. Nessuno dei due elimina la necessità di portare prima o poi la macchina fuori e vedere cosa fa.