← Retour au blog
AiEnviron 8 min de lecture

Les agents IA se trompent encore sur une lecture de gel sur trois, et OpenAI montre où

Publié le 11 nov. 2026
Les agents IA se trompent encore sur une lecture de gel sur trois, et OpenAI montre où

OpenAI a publié BioBasicsBench le 6 novembre, construit avec Ligo, une société de conception d'enzymes. Le meilleur résultat de la publication revient à GPT-6 Astra au réglage de raisonnement le plus élevé, avec 66,7 % du crédit disponible. GPT-5.6 Sol, la génération précédente, obtient 43,8 %.

Soixante-six virgule sept pour cent, c'est un drôle de titre. Cela signifie que le modèle le plus fort testé se trompe encore sur environ une interprétation de laboratoire de routine sur trois, sur des tâches qu'un scientifique en activité est censé accomplir de façon fiable. Le contenu le plus utile est dans les cas d'échec, qu'OpenAI a publiés avec le score.

Ce que le benchmark met devant le modèle

Cent tâches réparties sur cinq domaines du travail courant de paillasse : méthodes sur protéines, imagerie et cytométrie, quantification et dosages, méthodes sur acides nucléiques, clonage moléculaire.

L'entrée est la partie qui compte. Des graphiques tirés d'articles manqueraient le point. Le modèle reçoit le résidu brut des expériences : images de gels et de transferts dans 31 tâches, protocoles, cahiers de laboratoire et notes manuscrites photographiées dans 27, tableaux et exports d'instruments dans 20, photos de paillasses, cuves de gel, tubes de réactifs, plaque de PCR, portoirs, bandelettes de pH et pont de distributeur de liquides dans 18, microscopie dont champ clair brut et fluorescence, jeux multicanaux, z-stacks et time-lapse dans 14, photos d'écrans d'instruments et courbes d'étalonnage exportées dans 13, FASTQ bruts en lecture longue et cartes GenBank dans 12, vidéos de protocole d'étalement, de dilution en série et de montage de SDS-PAGE dans 7, et sept tâches construites sur des boîtes de transformation et des boîtes à disques d'antibiotiques. Vingt et une autres tâches incluent du matériel de référence, comme des échelles de poids moléculaire et des cartes de plasmides.

Des scientifiques ont écrit les tâches à partir de leurs propres expériences et rédigé les grilles d'évaluation. Chaque tâche est passée par la relecture d'un scientifique de Ligo qui ne l'avait pas écrite, puis par un scientifique de paillasse externe de niveau doctorat, puis par une dernière passe interne couvrant le prompt, les preuves, la grille, les notes de l'auteur et une tentative de modèle déjà notée.

La notation accorde un crédit partiel selon des critères individuels, ce qui permet de distinguer une conclusion correcte d'une analyse partiellement correcte. Sept modèles ont tourné sur 37 configurations de modèle et d'effort de raisonnement, avec cinq tentatives par tâche, produisant 18 500 résultats notés. Les intervalles de confiance ont été calculés en rééchantillonnant des tâches entières.

La plupart des tâches testent plusieurs compétences à la fois : connaissance biologique, interprétation d'image, détection d'erreur, compréhension de protocole. Ce recouvrement est le but. Un modèle peut savoir ce qu'est un Western blot et malgré tout en lire un de travers.

Les échecs sont précis, et c'est pourquoi ils servent

Dans une tâche de PCR sur colonies, Astra a choisi les pistes 4, 6, 7 et 8, en raisonnant qu'un produit de PCR plus gros signifiait un clonage réussi. L'interprétation de référence retenait les pistes 5, 9 et 10. Agir sur la réponse d'Astra reviendrait à purifier le mauvais plasmide. C'est le mode d'échec qui coûte une semaine.

Un bloc de gel pâle sur une plaque de verre éclairé par en dessous d'une lumière bleue froide, avec de faibles bandes sombres à l'intérieur du gel.

Dans une tâche de comptage de colonies, Astra n'a pas séparé des voisines proches, a manqué des colonies visibles et a marqué de l'agar vide comme colonies, produisant environ 12 % de comptage excédentaire par rapport à la référence. À volume d'ensemencement et dilution fixés, cette erreur gonfle d'autant l'efficacité estimée d'introduction de l'ADN. Un chiffre entre dans un cahier de laboratoire, et ce chiffre est faux dans une direction précise.

Dans une tâche de microscopie, Astra a généralisé que les vacuoles sont plus sombres que le matériel cellulaire environnant, alors que la même image contenait des vacuoles plus claires. Changer la profondeur de champ peut inverser le contraste, et les observations intermédiaires d'Astra avaient elles-mêmes noté que le contraste variait avec la mise au point. Le modèle a vu la chose, l'a écrite, puis a répondu comme s'il ne l'avait pas vue.

Dans une tâche de clonage, Sol a fondé une conclusion sur l'absence de colonies sur une boîte de contrôle négatif. Astra a remarqué que la boîte était étiquetée pour la kanamycine alors que l'expérience utilisait l'ampicilline, et l'a écartée comme contrôle utilisable. C'est une réponse réellement meilleure, et elle vient de la lecture d'une étiquette sur une photographie.

L'écart entre observer et conclure

Les exemples ci-dessus se divisent en deux catégories, et le vrai travail est dans la seconde.

Première catégorie, la perception. Le modèle a-t-il vu la colonie, la bande, l'étiquette, le second canal de colorant. Sur cet axe, Astra progresse sur Sol de façons documentées par OpenAI : reconnaître que deux fenêtres de détection de colorant se recouvrent et réclamer des contrôles qui séparent les signaux, ou identifier un z-stack au lieu d'inventer une explication biologique à des cellules qui semblaient disparaître.

Deuxième catégorie, l'observation gouverne-t-elle la conclusion. Le résumé d'OpenAI le dit bien : certains exemples montrent des observations correctes qui ne gouvernent pas la réponse finale. C'est un problème différent de celui de regarder plus fort. C'est un problème de la façon dont un modèle porte la preuve jusqu'à la décision, et aucune résolution ne le corrige.

Cet écart explique pourquoi je trouve le benchmark plus intéressant que son score agrégé. Un chiffre unique permet de classer des modèles. Des échecs documentés permettent de concevoir un flux. Si votre agent est bon pour lire des gels et faible pour respecter un contrôle, vous contournez. Vous imposez la vérification du contrôle comme étape séparée, vous demandez à l'agent d'énoncer quelle boîte il utilise et pourquoi, vous placez un humain sur la validation de tout ce qui dépend d'un comptage de colonies.

Le détail de l'efficacité en tokens

Un chiffre de la publication méritait plus d'attention qu'il n'en a reçu. Astra a consommé en moyenne 4 704 tokens de sortie par tâche. Sol en a consommé 9 099. Le meilleur modèle a utilisé environ la moitié.

Cela inverse l'hypothèse habituelle selon laquelle plus d'effort de raisonnement achète de la qualité. Cela change aussi le modèle de coût pour qui fait tourner ces tâches à l'échelle. Si un laboratoire traite quelques centaines d'images par semaine, l'écart entre 4 700 et 9 100 tokens par tâche n'est pas un arrondi, ni en latence ni en dépense.

À quoi OpenAI dit que cela sert

Le cadrage est délibéré. OpenAI veut des agents qui aident à la recherche biologique, et pour cela ils doivent interpréter les preuves avec lesquelles les scientifiques travaillent vraiment, y compris les expériences ratées, les images ambiguës et les observations contradictoires. Les benchmarks existants construits sur des figures prêtes à publier retirent exactement l'ambiguïté qui rend le travail difficile.

L'entreprise dit aussi que le suivi de ces capacités éclairera son évaluation des conséquences en biosécurité et bioprotection. Cette phrase fait beaucoup de travail. Un modèle qui sait lire un gel est un modèle qui sait lire un gel, et la même compétence qui aide un laboratoire à déboguer un clonage est celle qu'on voudrait étroitement encadrée dans d'autres mains. Publier un benchmark qui mesure la compétence en interprétation de paillasse est une façon de rendre le progrès lisible avant qu'il ne devienne un problème de politique publique.

La lecture honnête

BioBasicsBench est un benchmark construit par un laboratoire, sur des tâches écrites par une société partenaire, notées selon des grilles rédigées par ces scientifiques. C'est une conception raisonnable et ce n'est pas une évaluation indépendante. Les chiffres doivent se lire comme une description de ce que les modèles ont fait sur ce jeu précis, pas comme un classement du domaine.

Ce qui le rend utile malgré tout, c'est la précision. Vingt points de progrès entre générations, cela ressemble à du marketing. Un modèle qui confond une boîte de kanamycine avec un contrôle à l'ampicilline, puis un autre modèle qui le repère, vous dit quelque chose sur quoi agir.

La barre pratique pour les agents de laboratoire se situe ailleurs que dans une moyenne plus haute. Elle consiste à savoir si l'agent peut regarder des preuves brouillonnes, remarquer ce qui cloche dans les contrôles et refuser de conclure quand les données ne portent pas la conclusion. BioBasicsBench mesure les trois, et les ratés publiés montrent le chemin qu'il reste à parcourir pour le troisième.

Articles associés