← Zurück zum Blog
Aica. 6 Min. Lesezeit

KI-Agenten lesen noch jedes dritte Gel falsch, OpenAIs neuer Benchmark zeigt genau wo

Veröffentlicht 11. Nov. 2026
KI-Agenten lesen noch jedes dritte Gel falsch, OpenAIs neuer Benchmark zeigt genau wo

OpenAI veröffentlichte am 6. November BioBasicsBench, gebaut mit Ligo, einem Unternehmen für Enzymdesign. Das beste Ergebnis der Veröffentlichung gehört GPT-6 Astra mit der höchsten Reasoning-Stufe, das 66,7 Prozent der erreichbaren Punkte holte. GPT-5.6 Sol, die vorige Generation, kam auf 43,8 Prozent.

66,7 Prozent sind eine merkwürdige Schlagzeile. Sie heißt: Das stärkste getestete Modell liegt bei etwa jeder dritten Routineinterpretation im Labor daneben, bei Aufgaben, die ein arbeitender Wissenschaftler zuverlässig lösen soll. Der nützlichere Inhalt steckt in den Fehlerfällen, die OpenAI zusammen mit der Punktzahl veröffentlicht hat.

Was der Benchmark dem Modell vorlegt

Hundert Aufgaben aus fünf Bereichen routinemäßiger Nasslaborarbeit: Proteinmethoden, Bildgebung und Durchflusszytometrie, Quantifizierung und Assays, Nukleinsäuremethoden und molekulares Klonieren.

Die Eingabe ist der entscheidende Teil. Aus Papern abgezeichnete Diagramme würden den Punkt verfehlen. Das Modell bekommt den rohen Rückstand von Experimenten: Gel- und Blot-Bilder in 31 Aufgaben, Protokolle, Laborbücher und fotografierte handschriftliche Notizen in 27, Tabellen und Geräteexporte in 20, Fotos von Werkbänken, Gelapparaturen, Reagenzröhrchen, einer PCR-Platte, Röhrchenständern, pH-Streifen und einem Liquid-Handler-Deck in 18, Mikroskopie inklusive rohem Hellfeld und Fluoreszenz, Mehrkanal-Sets, Z-Stacks und Time-Lapse in 14, Fotos von Gerätedisplays und exportierte Standardkurven in 13, rohe Long-Read-FASTQs und GenBank-Karten in 12, Protokollvideos zum Ausstreichen, zur Verdünnungsreihe und zum Aufbau einer SDS-PAGE in 7, und sieben Aufgaben auf Transformationsplatten und Antibiotika-Plättchen. Weitere 21 Aufgaben enthalten Referenzmaterial wie Leiterdiagramme und Plasmidkarten.

Wissenschaftler schrieben die Aufgaben aus eigenen Experimenten und verfassten die Bewertungsraster. Jede Aufgabe durchlief die Prüfung durch einen Ligo-Wissenschaftler, der sie nicht geschrieben hatte, dann durch eine externe Nasslabor-Wissenschaftlerin auf PhD-Niveau, dann eine letzte interne Runde über Prompt, Belege, Raster, Autorennotizen und einen bewerteten Modellversuch.

Die Bewertung vergibt Teilpunkte entlang einzelner Rasterkriterien, sodass der Benchmark eine korrekte Schlussfolgerung von einer teilweise korrekten Analyse trennt. Sieben Modelle liefen über 37 Einstellungen aus Modell und Reasoning-Aufwand mit fünf Versuchen pro Aufgabe, was 18.500 bewertete Ergebnisse ergab. Konfidenzintervalle wurden durch Resampling ganzer Aufgaben berechnet.

Die meisten Aufgaben prüfen mehrere Fähigkeiten gleichzeitig: biologisches Wissen, Bildinterpretation, Fehlererkennung, Verständnis von Protokollen. Diese Überlappung ist der Punkt. Ein Modell kann wissen, was ein Western Blot ist, und ihn trotzdem falsch lesen.

Die Fehler sind konkret, deshalb sind sie brauchbar

In einer Colony-PCR-Aufgabe wählte Astra die Spuren 4, 6, 7 und 8, mit der Begründung, ein größeres PCR-Produkt bedeute erfolgreiches Klonieren. Die Referenzinterpretation wählte die Spuren 5, 9 und 10. Nach Astras Antwort würde man das falsche Plasmid aufreinigen. Das ist der Fehlertyp, der eine Woche kostet.

Eine blasse Gelplatte auf einer Glasplatte, von unten von kaltem blauem Licht beleuchtet, schwache dunkle Banden im Gel.

In einer Aufgabe zum Koloniezählen trennte Astra nahe Nachbarn nicht, übersah sichtbare Kolonien und markierte leeren Agar als Kolonien, was gegenüber der Referenz etwa 12 Prozent zu viel ergab. Bei fixiertem Plattenvolumen und fixierter Verdünnung bläht dieser Fehler die geschätzte Effizienz des DNA-Eintrags um denselben Anteil auf. Eine Zahl wandert ins Laborbuch, und die Zahl ist in eine bestimmte Richtung falsch.

In einer Mikroskopieaufgabe verallgemeinerte Astra, Vakuolen seien dunkler als das umgebende Zellmaterial, obwohl dasselbe Bild hellere Vakuolen enthielt. Eine Änderung der Fokusebene kann den Kontrast umkehren, und Astras eigene Zwischenbeobachtungen hatten notiert, dass der Kontrast mit dem Fokus variiert. Das Modell sah es, schrieb es auf und antwortete dann, als hätte es das nicht getan.

In einer Klonierungsaufgabe stützte Sol eine Schlussfolgerung darauf, keine Kolonien auf einer Negativkontrollplatte zu sehen. Astra bemerkte, dass die Platte für Kanamycin beschriftet war, während das Experiment Ampicillin verwendete, und verwarf sie als brauchbare Kontrolle. Das ist eine wirklich bessere Antwort, und sie kommt aus dem Lesen eines Etiketts auf einem Foto.

Die Lücke zwischen Beobachten und Schließen

Die Beispiele oben zerfallen in zwei Kategorien, und die eigentliche Arbeit steckt in der zweiten.

Kategorie eins ist Wahrnehmung. Hat das Modell die Kolonie gesehen, die Bande, das Etikett, den zweiten Farbstoffkanal. Auf dieser Achse hat Astra sich gegenüber Sol verbessert, und OpenAI dokumentiert das: zu erkennen, dass zwei Farbstofffenster überlappen, und Kontrollen zu verlangen, die die Signale trennen, oder einen Z-Stack zu identifizieren, statt eine biologische Erklärung für Zellen zu erfinden, die zu verschwinden scheinen.

Kategorie zwei ist, ob die Beobachtung die Schlussfolgerung steuert. OpenAIs eigene Zusammenfassung trifft es: In einigen Beispielen gelingt es korrekten Beobachtungen nicht, die endgültige Antwort zu steuern. Das ist ein anderes Problem als genauer hinzusehen. Es geht darum, wie ein Modell Belege bis zur Entscheidung trägt, und keine Auflösung behebt das.

Wegen dieser Lücke finde ich den Benchmark interessanter als seine Gesamtpunktzahl. Eine einzelne Zahl erlaubt ein Ranking. Durchgearbeitete Fehler erlauben, einen Workflow zu entwerfen. Wenn dein Agent Gels gut liest und Kontrollen schlecht respektiert, baust du drumherum. Du verlangst den Kontrollcheck als eigenen Schritt, du lässt den Agenten sagen, welche Platte er nutzt und warum, du setzt einen Menschen auf die Freigabe für alles, was hinter einer Koloniezählung kommt.

Das Detail zur Token-Effizienz

Eine Zahl der Veröffentlichung verdient mehr Aufmerksamkeit, als sie bekam. Astra erzeugte im Schnitt 4.704 Ausgabe-Token pro Aufgabe. Sol kam auf 9.099. Das bessere Modell brauchte rund die Hälfte.

Das kehrt die übliche Annahme um, mehr Reasoning-Aufwand kaufe Qualität. Es ändert auch das Kostenmodell für alle, die solche Aufgaben in großem Maßstab fahren. Wenn ein Labor ein paar hundert Bilder pro Woche verarbeitet, ist der Unterschied zwischen 4.700 und 9.100 Token pro Aufgabe weder bei der Latenz noch bei den Ausgaben ein Rundungsfehler.

Wofür OpenAI das hält

Die Rahmung ist bewusst. OpenAI will Agenten, die biologische Forschung unterstützen, und dafür müssen sie die Belege interpretieren, mit denen Wissenschaftler tatsächlich arbeiten, einschließlich gescheiterter Experimente, mehrdeutiger Bilder und widersprüchlicher Beobachtungen. Bestehende Benchmarks auf publikationsreifen Abbildungen entfernen genau die Mehrdeutigkeit, die die Arbeit schwer macht.

Das Unternehmen sagt außerdem, diese Fähigkeiten würden seine Einschätzung von Biosicherheits- und Biosecurity-Folgen informieren. Dieser Satz leistet viel. Ein Modell, das ein Gel lesen kann, kann ein Gel lesen, und dieselbe Fähigkeit, die einem Labor beim Debuggen eines Klonierungsschritts hilft, ist die Fähigkeit, die man in anderen Händen eng regeln möchte. Einen Benchmark zu veröffentlichen, der Kompetenz in Nasslabor-Interpretation misst, macht Fortschritt sichtbar, bevor er ein politisches Problem wird.

Die ehrliche Lesart

BioBasicsBench ist ein Benchmark von einem Labor, auf Aufgaben eines Partnerunternehmens, bewertet nach Rastern, die diese Wissenschaftler geschrieben haben. Das ist ein vernünftiges Design und keine unabhängige Evaluation. Die Zahlen beschreiben, was die Modelle auf diesem konkreten Satz taten, kein Feldranking.

Wertvoll wird es trotzdem durch die Konkretheit. Zwanzig Punkte Verbesserung zwischen Generationen klingt nach Marketing. Ein Modell, das eine Kanamycin-Platte für eine Ampicillin-Kontrolle hält, und ein anderes, das es bemerkt, sagt etwas, worauf man reagieren kann.

Die praktische Messlatte für Laboragenten liegt woanders als bei einem höheren Durchschnitt. Sie liegt darin, ob der Agent unordentliche Belege ansehen, erkennen kann, was mit den Kontrollen nicht stimmt, und es ablehnen kann zu schließen, wenn die Daten die Schlussfolgerung nicht tragen. BioBasicsBench misst alle drei, und die veröffentlichten Fehlgriffe zeigen, wie weit der dritte Punkt noch laufen muss.

Verwandte Artikel