NASA e IBM hanno reso open source un modello fondativo lunare addestrato su 17 anni di dati in orbita

Diciassette anni di osservazione della Luna avevano prodotto più dati di tutte le altre missioni planetarie della NASA messe insieme. Renderli utilizzabili per l'apprendimento automatico è stato il problema più difficile.

Il 5 ottobre, la NASA e IBM Research, in collaborazione con diverse istituzioni accademiche, hanno rilasciato il NASA-IBM Lunar Foundation Model. Il modello è open source, pubblicato su Hugging Face con il codice su GitHub, e integrato nel toolkit open source TerraTorch. Insieme ad esso sono stati rilasciati i dataset di pre-addestramento e le collezioni di benchmark.

Il modello riduce fino al 22 per cento l'errore di previsione dei depositi di ghiaccio polare rispetto al miglior baseline, SwinV2-B, e migliora di quasi il 19 per cento il rilevamento dei crateri su scala grossolana utilizzando solo la metà dei dati etichettati.

Perché un modello fondativo invece di uno specifico per il compito

La scienza lunare ha uno strano problema di dati. Le osservazioni sono abbondanti. Le etichette sono scarse. Costruire un modello per il rilevamento dei crateri a una certa scala, un altro per la stabilità del ghiaccio e un altro ancora per la segmentazione della superficie significa ricominciare da zero ogni volta, su piccoli set etichettati, senza alcuna rappresentazione condivisa alla base.

Un modello fondativo ribalta la prospettiva. Si pre-addestra su grandi volumi di dati non etichettati, poi si adatta a un compito specifico con pochi esempi etichettati. Kevin Murphy, chief science data officer della NASA, ha inquadrato il rilascio esattamente in questi termini: la NASA ha impiegato decenni a costruire un archivio scientifico della Luna, e raccogliere i dati è solo una parte del lavoro. Il resto è renderli più facili da usare per gli scienziati.

Il corpus di addestramento è SomBench, descritto come il più grande dataset lunare multimodale co-registrato finora assemblato: quasi due milioni di bundle di tile distribuiti su undici modalità e due scale spaziali. Circa un milione di immagini ad alta risoluzione proviene dalla Narrow Angle Camera, a circa un metro per pixel. Quasi 964.000 immagini multispettrali provengono dalla Wide Angle Camera, a 100 metri per pixel. La maggior parte risale al Lunar Reconnaissance Orbiter, integrato da dati di GRAIL, Lunar Prospector e della sonda Kaguya della JAXA. Oltre 30 livelli di dati allineati spazialmente, provenienti da nove strumenti e quattro missioni.

La scelta progettuale che ha fatto la maggior parte del lavoro

L'architettura adatta TerraMind, un modello multimodale per l'osservazione della Terra, ma il team ha addestrato la versione lunare da zero anziché fare fine-tuning di un modello esistente. La Luna non ha atmosfera né condizioni meteorologiche, quindi le assunzioni ereditate da un modello terrestre diventano peggio che inutili: attivamente fuorvianti. Sulla Luna, l'aspetto di una cosa è in gran parte funzione di come è illuminata.

Questa osservazione ha guidato la seconda decisione chiave. Il modello riceve la geometria di imaging come contesto esplicito per ogni tile: angoli di illuminazione, posizione del Sole, estensione della tile. Invece di dedurre l'illuminazione dai pixel grezzi, gli viene detto. Uno dei risultati più significativi è che un modello di controllo architettonicamente identico, con inizializzazione casuale, ha comunque ottenuto prestazioni competitive nella previsione del ghiaccio, il che i ricercatori hanno interpretato come prova che il metodo di gestione dei dati stesso portava gran parte del guadagno.

FlexiViT gestisce la variazione della dimensione delle patch, permettendo al modello addestrato di adattarsi a compiti su scale d'immagine diverse senza riaddestramento.

Benchmark e i limiti indicati dagli autori

Il team ha testato il modello sul rilevamento dei crateri alle scale di 100 metri e 1 metro, sulla previsione dei depositi di ghiaccio polare e sulla segmentazione delle irregolari macchie di mare (irregular mare patches). Il modello pre-addestrato ha eguagliato o superato i baseline comuni e il controllo con inizializzazione casuale. La previsione del ghiaccio ha registrato i guadagni maggiori.

Il rapporto tecnico è esplicito su ciò che il modello non può fare. Non è adatto al posizionamento geodetico assoluto. Nei test di generazione, latitudine e longitudine erano errate di decine di gradi in alcuni casi, e le strutture di elevazione apparivano con valori di altezza assoluta spostati anche quando la ricostruzione della forma era corretta. Juan Bernabé-Moreno di IBM Research Europe ha descritto il modello come una base riutilizzabile per la ricerca lunare a valle, più che un sostituto delle misurazioni fisiche.

Questa distinzione attraversa l'intero rilascio. Il modello accelera l'analisi: stima dove il ghiaccio d'acqua potrebbe rimanere stabile nelle regioni permanentemente in ombra, mappa i crateri per stimare l'età delle superfici e segnala le irregular mare patches per lo studio vulcanico. Non conferma che esistano risorse sfruttabili né garantisce che un sito sia sicuro per l'atterraggio.

Cosa non può fare

La sezione dedicata ai limiti del rapporto merita una lettura attenta, perché definisce il confine tra uno strumento di ricerca e uno strumento di misura. Il modello non è adatto al posizionamento geodetico assoluto: nei test di generazione, latitudine e longitudine erano errate di decine di gradi in alcuni casi, e le strutture di elevazione apparivano con valori di altezza assoluta spostati anche quando le forme ricostruite erano corrette.

Tradotto in pratica, questo significa che il modello è utile per individuare e caratterizzare le caratteristiche del terreno, ma inaffidabile nel dire con alta precisione dove si trovino esattamente. Un pianificatore di missione potrebbe usarlo per restringere le regioni candidate al ghiaccio polare, per poi confermare con misurazioni mirate. Un team che trattasse il suo output come coordinate di qualità topografica ne farebbe un uso improprio.

Gli autori inquadrano il rilascio allo stesso modo, come una base riutilizzabile per la ricerca a valle più che un sostituto della misurazione fisica. È proprio questa onestà sul perimetro d'uso a rendere il rilascio utilizzabile, perché indica ai team a valle per quali compiti fidarsi del modello e quali continuare a svolgere nel modo difficile.

Perché conta l'adattamento da un modello terrestre

TerraMind è stato costruito per l'osservazione della Terra, dove le immagini sono plasmate da atmosfera, cicli vegetativi e attività umana. Adattarne l'architettura addestrando da zero è una via di mezzo deliberata. Il team ha mantenuto ciò che generalizza, ovvero il meccanismo per gestire dati multimodali allineati spazialmente, e ha scartato ciò che non generalizza, ovvero qualsiasi assunzione su come dovrebbe apparire una superficie.

La decisione di trattare l'illuminazione come input mostra perché questa distinzione conti. Sulla Terra, un'immagine satellitare porta con sé abbastanza ridondanza visiva che un modello può spesso dedurre l'illuminazione da texture e ombre. Sulla Luna, la superficie è in gran parte uniforme e l'ombra è il segnale. Passare direttamente al modello l'angolo solare e la geometria dell'illuminazione, invece di chiedergli di ricostruirli, gli ha permesso di spendere la propria capacità sui compiti scientifici anziché nel ri-derivare una fisica che gli era già stata fornita.

È un pattern che si trasferisce. Qualsiasi dominio in cui una misurazione fisica è facile da calcolare ma costosa da inferire per un modello è un candidato al condizionamento esplicito: profondità dalla stereoscopia, correzione atmosferica, calibrazione dei sensori. La Luna ha reso il caso limpido perché ha pochissime variabili confondenti.

Cosa significa qui un rilascio aperto

Rilasciare in open source un modello e i suoi dataset cambia chi può partecipare. Team di ricerca al di fuori di NASA e IBM possono riprodurre i risultati pubblicati, fare fine-tuning del modello sui propri problemi e costruire applicazioni per missioni future senza negoziare l'accesso ai dati. Quando i dati lunari etichettati sono costosi da produrre, un modello pre-addestrato che richiede solo pochi esempi è la differenza tra uno studio che si realizza e uno che non si realizza.

Il rilascio è anche un modello replicabile. La Luna è stata indicizzata da un modello costruito per un tipo specifico di immagini, alimentato con la fisica che determina l'aspetto di quelle immagini e addestrato su dati rimasti negli archivi per diciassette anni in attesa di essere elaborati. Lo stesso pattern si applica a qualsiasi dominio con abbondanti osservazioni non etichettate e scarse etichette, cioè alla maggior parte del telerilevamento scientifico.