Il modello più forte sbaglia una lettura di laboratorio su tre. OpenAI ha pubblicato gli errori

OpenAI ha pubblicato BioBasicsBench il 6 novembre, costruito con Ligo, azienda di design di enzimi. Il miglior risultato del rilascio è di GPT-6 Astra al massimo livello di ragionamento, che ha ottenuto il 66.7 per cento del credito disponibile. GPT-5.6 Sol, la generazione precedente, si è fermata al 43.8 per cento.
Il 66.7 per cento è un titolo strano. Significa che il modello più forte testato sbaglia ancora circa una interpretazione di laboratorio su tre, su compiti che ci si aspetta uno scienziato al lavoro completi in modo affidabile. Il contenuto più utile sono i casi di fallimento, che OpenAI ha pubblicato insieme al punteggio.
Cosa mette davanti al modello
Cento task in cinque aree del lavoro di laboratorio umido di routine: metodi per proteine, imaging e citometria, quantificazione e saggi, metodi per acidi nucleici, clonaggio molecolare.
L'input è la parte che conta. Grafici presi dai paper mancherebbero il punto. Al modello arriva il residuo grezzo degli esperimenti: immagini di gel e blot in 31 task, protocolli, quaderni di laboratorio e note manoscritte fotografate in 27, tabelle ed export di strumenti in 20, foto di banconi, vasche per gel, provette di reagenti, una piastra PCR, portaprovette, strisce di pH e un deck per liquid handler in 18, microscopia con brightfield e fluorescenza grezzi, set multicanale, z-stack e time-lapse in 14, foto di schermi di strumenti e curve standard esportate in 13, FASTQ long-read grezzi e mappe GenBank in 12, video di protocollo per strisciamento, diluizioni seriali e setup SDS-PAGE in 7, e sette task costruiti su piastre di trasformazione e piastre con dischetti di antibiotico. Altri 21 task includono materiale di riferimento come ladder e mappe plasmidiche.
Gli scienziati hanno scritto i task partendo dai propri esperimenti e hanno scritto le rubriche di valutazione. Ogni task è passato dalla revisione di uno scienziato Ligo che non l'aveva scritto, poi di uno scienziato esterno di laboratorio umido con dottorato, poi di un ultimo passaggio interno su prompt, prove, rubrica, note dell'autore e un tentativo di modello valutato.
Il punteggio è credito parziale sui singoli criteri della rubrica, il che permette di separare una conclusione corretta da un'analisi parzialmente corretta. Sette modelli hanno girato su 37 impostazioni di modello e sforzo di ragionamento con cinque tentativi per task, producendo 18,500 risultati valutati. Gli intervalli di confidenza sono stati calcolati ricampionando interi task.
Quasi tutti i task testano più competenze insieme: conoscenza biologica, interpretazione di immagini, rilevamento di errori, comprensione del protocollo. La sovrapposizione è il punto. Un modello può sapere cos'è un Western blot e leggerne uno male.
I fallimenti sono specifici, ed è per questo che servono
In un task di colony-PCR Astra ha scelto le corsie 4, 6, 7 e 8, ragionando che un prodotto PCR più grande significasse clonaggio riuscito. L'interpretazione di riferimento indicava le corsie 5, 9 e 10. Agire sulla risposta di Astra significherebbe purificare il plasmide sbagliato. È la modalità di errore che costa una settimana.

In un task di conteggio delle colonie Astra non ha separato vicine adiacenti, ha perso colonie visibili e ha marcato agar vuoto come colonie, producendo circa un 12 per cento di sovrastima rispetto al riferimento. Con volume piastrato e diluizione fissi, quell'errore gonfia nella stessa proporzione l'efficienza stimata di introduzione del DNA. Un numero finisce in un quaderno di laboratorio, e il numero è sbagliato in una direzione precisa.
In un task di microscopia Astra ha generalizzato che i vacuoli sono più scuri del materiale cellulare circostante, anche se la stessa immagine conteneva vacuoli più chiari. Cambiare il piano focale può invertire il contrasto, e le stesse osservazioni intermedie di Astra avevano annotato che il contrasto variava con la messa a fuoco. Il modello ha visto la cosa, l'ha scritta, e poi ha risposto come se non l'avesse vista.
In un task di clonaggio Sol ha basato una conclusione sul non vedere colonie su una piastra di controllo negativo. Astra ha notato che la piastra era etichettata per kanamicina mentre l'esperimento usava ampicillina, e l'ha scartata come controllo utilizzabile. È una risposta genuinamente migliore, e viene dal leggere un'etichetta in una fotografia.
Lo scarto tra osservare e concludere
Gli esempi qui sopra si dividono in due categorie, e il lavoro vero è nella seconda.
La prima categoria è la percezione. Il modello ha visto la colonia, la banda, l'etichetta, il secondo canale del colorante. Su quell'asse Astra è migliorato rispetto a Sol in modi che OpenAI documenta: riconoscere che due finestre di rilevamento dei coloranti si sovrappongono e chiedere controlli che separino i segnali, oppure identificare uno z-stack invece di inventare una spiegazione biologica per cellule che sembravano sparire.
La seconda categoria è se l'osservazione governa la conclusione. Il riassunto di OpenAI lo dice bene: alcuni esempi mostrano osservazioni corrette che non riescono a governare la risposta finale. È un problema diverso dal guardare meglio. È un problema di come un modello porta l'evidenza fino a una decisione, e nessuna risoluzione lo risolve.
È per questo scarto che trovo il benchmark più interessante del suo punteggio aggregato. Un numero singolo ti fa classificare i modelli. I fallimenti raccontati ti fanno progettare un flusso di lavoro. Se il tuo agente è forte nel leggere i gel e debole nel rispettare un controllo, gli giri intorno. Richiedi il controllo come passaggio separato, fai dichiarare all'agente quale piastra sta usando e perché, metti un umano sulla firma per tutto ciò che sta a valle di un conteggio di colonie.
Il dettaglio sull'efficienza dei token
Un numero del rilascio merita più attenzione di quanta ne ha ricevuta. Astra ha usato in media 4,704 token di output per task. Sol ne ha usati 9,099. Il modello migliore ha usato circa la metà dei token.
Questo rovescia l'assunzione abituale che più sforzo di ragionamento compri qualità. Cambia anche il modello di costo per chi esegue questi task su scala. Se un laboratorio lavora qualche centinaio di immagini a settimana, la differenza tra 4,700 e 9,100 token per task non è un errore di arrotondamento né in latenza né in spesa.
Per cosa OpenAI dice che serve
L'inquadramento è deliberato. OpenAI vuole agenti che aiutino la ricerca biologica, e per questo devono interpretare le prove con cui gli scienziati lavorano davvero, compresi esperimenti falliti, immagini ambigue e osservazioni contraddittorie. I benchmark esistenti costruiti su figure pronte per il paper eliminano esattamente l'ambiguità che rende difficile il lavoro.
L'azienda dice anche che seguire queste capacità informerà la sua valutazione delle conseguenze di biosicurezza e biosecurity. Quella frase fa molto lavoro. Un modello che sa leggere un gel è un modello che sa leggere un gel, e la stessa competenza che aiuta un laboratorio a diagnosticare un passaggio di clonaggio è quella che vorresti strettamente governata in altre mani. Pubblicare un benchmark che misura la competenza nell'interpretazione di laboratorio è un modo per rendere leggibile il progresso prima che diventi un problema politico.
La lettura onesta
BioBasicsBench è un benchmark costruito da un laboratorio, su task scritti da un'azienda partner, valutati con rubriche scritte da quegli scienziati. È un design ragionevole e non è valutazione indipendente. I numeri vanno letti come descrizione di cosa hanno fatto i modelli su questo insieme specifico, non come classifica di campo.
Ciò che lo rende comunque prezioso è la specificità. Venti punti di miglioramento tra generazioni suonano come marketing. Un modello che confonde una piastra di kanamicina con un controllo di ampicillina, e poi un altro che lo coglie, ti dice qualcosa su cui puoi agire.
L'asticella pratica per gli agenti di laboratorio sta altrove rispetto a una media più alta. È se l'agente sa guardare prove disordinate, notare cosa non va nei controlli, e rifiutarsi di concludere quando i dati non reggono la conclusione. BioBasicsBench misura tutte e tre, e i buchi pubblicati mostrano quanta strada resta alla terza.
Articoli correlati
Gli agenti si spostano nel cloud: il task continua quando chiudi il portatile
Il task continua in una VM cloud dopo che hai chiuso il portatile, ma perdi il tooling interno e resta aperto chi approva le azioni irreversibili.
NVIDIA rilascia quattro modelli del mondo da 16 miliardi e un decoder 25 volte più veloce sulla geometria
Quattro generatori del mondo da 16 miliardi con le ricette di training, e un framework di decoding che emette geometria in un colpo. La valutazione manca.
Le skill occupano un quarto dei trend di GitHub, e ognuna si installa a modo suo
Una skill è una cartella di istruzioni, ma installarla ha quattro strade diverse e la copia locale non ha ancora un lockfile.
Un modello da 594 miliardi in cima alle classifiche. I pesi, però, non ci sono
Un modello forte, numeri buoni e una ricetta da leggere, ma i pesi che renderebbero verificabile la dichiarazione non sono ancora usciti.