Los agentes de IA todavía leen mal uno de cada tres geles, y el nuevo benchmark de OpenAI muestra dónde

OpenAI publicó BioBasicsBench el 6 de noviembre, construido con Ligo, una empresa de diseño de enzimas. El mejor resultado de la publicación es de GPT-6 Astra con el nivel de razonamiento más alto, que logró el 66,7 por ciento del crédito disponible. GPT-5.6 Sol, la generación anterior, obtuvo el 43,8 por ciento.
El 66,7 por ciento es un titular extraño. Significa que el modelo más fuerte probado todavía se equivoca en aproximadamente una de cada tres interpretaciones rutinarias de laboratorio, en tareas que se espera que un científico en activo complete con fiabilidad. El contenido más útil está en los casos de fallo, que OpenAI publicó junto a la puntuación.
Qué pone el benchmark delante del modelo
Cien tareas en cinco áreas del trabajo rutinario de laboratorio húmedo: métodos de proteínas, imagen y citometría, cuantificación y ensayos, métodos de ácidos nucleicos y clonación molecular.
La entrada es la parte que importa. Unos gráficos copiados de artículos fallarían el punto. Lo que recibe el modelo es el residuo crudo de los experimentos: imágenes de geles y blots en 31 tareas, protocolos, cuadernos de laboratorio y notas manuscritas fotografiadas en 27, tablas y exportaciones de instrumentos en 20, fotos de bancos, cubetas, tubos de reactivo, una placa de PCR, gradillas, tiras de pH y una plataforma de dispensador líquido en 18, microscopía con campo claro y fluorescencia en bruto, conjuntos multicanal, z-stacks y time-lapse en 14, fotos de pantallas de instrumentos y curvas estándar exportadas en 13, FASTQ de lectura larga sin procesar y mapas GenBank en 12, vídeos de protocolo de siembra, dilución seriada y montaje de SDS-PAGE en 7, y siete tareas sobre placas de transformación y placas con discos de antibiótico. Otras 21 tareas incluyen material de referencia como escaleras y mapas de plásmidos.
Los científicos escribieron las tareas a partir de sus propios experimentos y redactaron las rúbricas. Cada tarea pasó por la revisión de un científico de Ligo que no la había escrito, luego por un científico externo de laboratorio húmedo con nivel de doctorado, y después por una pasada interna final que cubría el enunciado, la evidencia, la rúbrica, las notas del autor y un intento del modelo ya puntuado.
La puntuación es crédito parcial contra criterios individuales, lo que permite separar una conclusión correcta de un análisis parcialmente correcto. Siete modelos se ejecutaron en 37 ajustes de modelo y esfuerzo de razonamiento con cinco intentos por tarea, lo que produjo 18.500 resultados puntuados. Los intervalos de confianza se calcularon remuestreando tareas completas.
Casi todas las tareas prueban varias habilidades a la vez: conocimiento biológico, interpretación de imágenes, detección de errores, comprensión de protocolos. Esa superposición es el punto. Un modelo puede saber qué es un Western blot y aun así leerlo mal.
Los fallos son concretos, y por eso sirven
En una tarea de PCR de colonias, Astra eligió los carriles 4, 6, 7 y 8, razonando que un producto de PCR más grande significaba clonación exitosa. La interpretación de referencia seleccionaba los carriles 5, 9 y 10. Actuar sobre la respuesta de Astra significaría purificar el plásmido equivocado. Ese es el fallo que cuesta una semana.

En una tarea de recuento de colonias, Astra no separó vecinos cercanos, omitió colonias visibles y marcó agar vacío como colonias, con un exceso de aproximadamente el 12 por ciento frente a la referencia. Con el volumen sembrado y la dilución fijos, ese error infla la eficiencia estimada de introducción de ADN en la misma proporción. Un número entra en un cuaderno de laboratorio, y el número está mal en una dirección concreta.
En una tarea de microscopía, Astra generalizó que las vacuolas son más oscuras que el material celular circundante, aunque la misma imagen contenía vacuolas más claras. Cambiar la profundidad de foco puede invertir el contraste, y las observaciones intermedias del propio Astra habían anotado que el contraste variaba con el enfoque. El modelo lo vio, lo escribió y luego respondió como si no.
En una tarea de clonación, Sol basó una conclusión en no ver colonias en una placa de control negativo. Astra notó que la placa estaba etiquetada para kanamicina mientras el experimento usaba ampicilina, y la descartó como control válido. Es una respuesta genuinamente mejor, y viene de leer una etiqueta en una fotografía.
La distancia entre observar y concluir
Los ejemplos anteriores se dividen en dos categorías, y el trabajo real está en la segunda.
La categoría uno es percepción. Si el modelo vio la colonia, la banda, la etiqueta, el segundo canal de colorante. En ese eje Astra mejoró respecto a Sol de formas que OpenAI documenta: reconocer que dos ventanas de detección de colorantes se solapan y pedir controles que separen las señales, o identificar un z-stack en lugar de inventar una explicación biológica para células que parecían desaparecer.
La categoría dos es si la observación gobierna la conclusión. El propio resumen de OpenAI lo dice bien: en algunos ejemplos, observaciones correctas no logran gobernar la respuesta final. Es un problema distinto de mirar más de cerca. Tiene que ver con cómo un modelo lleva la evidencia hasta una decisión, y ninguna resolución lo arregla.
Por esa brecha el benchmark me parece más interesante que su puntuación agregada. Un solo número permite ordenar modelos. Los fallos trabajados permiten diseñar un flujo. Si tu agente lee bien geles y respeta mal un control, lo rodeas. Exiges la comprobación del control como paso aparte, haces que el agente diga qué placa usa y por qué, pones a una persona a firmar todo lo que venga después de un recuento de colonias.
El detalle de eficiencia de tokens
Una cifra de la publicación merece más atención de la que recibió. Astra produjo una media de 4.704 tokens de salida por tarea. Sol, 9.099. El modelo mejor usó aproximadamente la mitad.
Eso invierte la suposición habitual de que más esfuerzo de razonamiento compra calidad. También cambia el modelo de costes para quien ejecute estas tareas a escala. Si un laboratorio procesa unos cientos de imágenes por semana, la diferencia entre 4.700 y 9.100 tokens por tarea no es un error de redondeo ni en latencia ni en gasto.
Para qué dice OpenAI que sirve
El encuadre es deliberado. OpenAI quiere agentes que ayuden en investigación biológica, y para eso necesitan interpretar la evidencia con la que trabajan los científicos, incluidos experimentos fallidos, imágenes ambiguas y observaciones contradictorias. Los benchmarks existentes construidos sobre figuras listas para publicar eliminan justo la ambigüedad que hace difícil el trabajo.
La empresa también dice que seguir estas capacidades informará su evaluación de las consecuencias de bioseguridad y bioprotección. Esa frase hace mucho trabajo. Un modelo que puede leer un gel es un modelo que puede leer un gel, y la misma habilidad que ayuda a un laboratorio a depurar una clonación es la que querrías gobernar de cerca en otras manos. Publicar un benchmark que mide competencia en interpretación de laboratorio húmedo es una forma de hacer legible el progreso antes de que se convierta en un problema de política.
La lectura honesta
BioBasicsBench es un benchmark hecho por un laboratorio, sobre tareas escritas por una empresa asociada, puntuado con rúbricas que esos científicos escribieron. Es un diseño razonable y no es evaluación independiente. Las cifras deben leerse como descripción de lo que los modelos hicieron en este conjunto concreto, no como un ranking del campo.
Lo que lo hace valioso igualmente es la especificidad. Veinte puntos de mejora entre generaciones suena a marketing. Un modelo que confunde una placa de kanamicina con un control de ampicilina, y luego otro que lo detecta, dice algo sobre lo que se puede actuar.
El listón práctico para los agentes de laboratorio está en otro sitio que un promedio más alto. Está en si el agente puede mirar evidencia desordenada, notar qué está mal en los controles y negarse a concluir cuando los datos no sostienen la conclusión. BioBasicsBench mide las tres cosas, y los fallos publicados muestran cuánto le queda por recorrer a la tercera.
Artículos relacionados
Google sacó los agentes de código del portátil, y el aviso de permiso sigue siendo el cuello de botella
La fontanería está casi resuelta. El aviso de permiso sigue siendo el cuello de botella humano.
NVIDIA libera cuatro modelos del mundo de 16B y la parte sin benchmark es el aprendizaje de políticas
NVIDIA dice que no está medido si estos modelos sirven para aprender políticas. La frase debería acompañar cualquier historia sobre modelos del mundo abiertos.
Cuatro de los repos más populares de GitHub son bibliotecas de skills, y ya hay un problema de empaquetado
La adopción va bien. El fallo interesante son cuatro formas incompatibles de instalar el mismo objeto.
Thinking Machines lanzó un modelo de 594B y dejó los pesos para la semana que viene
Un modelo fuerte, una receta documentada, una capacidad infravalorada y una fecha que el laboratorio no ha comprometido.