Agentes de IA ainda interpretam mal um em cada três géis. O novo benchmark da OpenAI mostra exatamente como.

A OpenAI publicou o BioBasicsBench em 6 de novembro, desenvolvido com a Ligo, uma empresa de design de enzimas. O melhor resultado do lançamento pertence ao GPT-6 Astra na configuração de raciocínio mais alta, que obteve 66,7% do crédito disponível. O GPT-5.6 Sol, da geração anterior, ficou com 43,8%.
Sessenta e seis vírgula sete por cento é um tipo estranho de manchete. Significa que o modelo mais forte testado ainda erra aproximadamente uma em cada três interpretações rotineiras de laboratório, em tarefas que se espera que um cientista em atividade conclua de forma confiável. O conteúdo mais útil está nos casos de falha, que a OpenAI publicou junto com a pontuação.
O que o benchmark coloca diante do modelo
Cem tarefas em cinco áreas de trabalho laboratorial úmido: métodos com proteínas, imagem e citometria, quantificação e ensaios, métodos com ácidos nucleicos e clonagem molecular.
A entrada é a parte que importa. Gráficos retirados de artigos perderiam o ponto. O que o modelo recebe é o resíduo bruto dos experimentos: imagens de géis e blots em 31 tarefas; protocolos, cadernos de laboratório e notas manuscritas fotografadas em 27; tabelas e exportações de instrumentos em 20; fotos de bancadas, cubas de gel, tubos de reagentes, uma placa de PCR, racks de tubos, fitas de pH e uma plataforma de manipulador de líquidos em 18; microscopia, incluindo campo claro e fluorescência brutos, conjuntos multicanal, z-stacks e time-lapse em 14; fotos de telas de instrumentos e curvas padrão exportadas em 13; FASTQs brutos de leituras longas e mapas GenBank em 12; vídeos de protocolo de semeadura por estria, diluição seriada e montagem de SDS-PAGE em 7; e sete tarefas baseadas em placas de transformação e placas com discos de antibiótico. Outras 21 tarefas incluem material de referência, como gráficos de escada e mapas de plasmídeos.
Cientistas escreveram as tarefas a partir de seus próprios experimentos e redigiram as rubricas de avaliação. Cada tarefa passou por revisão de um cientista da Ligo que não a escreveu, depois por um cientista externo de laboratório úmido com nível de doutorado e, em seguida, por uma etapa interna final cobrindo prompt, evidências, rubrica, notas do autor e uma tentativa de modelo avaliada.
A pontuação é por crédito parcial segundo critérios individuais da rubrica, o que permite ao benchmark separar uma conclusão correta de uma análise parcialmente correta. Sete modelos foram executados em 37 configurações de modelo e esforço de raciocínio, com cinco tentativas por tarefa, produzindo 18.500 resultados pontuados. Os intervalos de confiança foram calculados por reamostragem de tarefas inteiras.
A maioria das tarefas testa várias habilidades ao mesmo tempo: conhecimento biológico, interpretação de imagens, detecção de erros e compreensão de protocolos. Essa sobreposição é o ponto. Um modelo pode saber o que é um Western blot e ainda assim interpretá-lo mal.
As falhas são específicas, e é por isso que são úteis
Em uma tarefa de PCR de colônias, o Astra escolheu as canaletas 4, 6, 7 e 8, raciocinando que um produto de PCR maior significava clonagem bem-sucedida. A interpretação de referência selecionou as canaletas 5, 9 e 10. Agir com base na resposta do Astra significaria purificar o plasmídeo errado. Esse é o tipo de falha que custa uma semana.

Em uma tarefa de contagem de colônias, o Astra não conseguiu separar colônias vizinhas próximas, deixou de ver colônias visíveis e marcou ágar vazio como colônias, produzindo uma contagem cerca de 12% acima da referência. Com o volume plaqueado e a diluição fixos, esse erro infla a eficiência estimada de introdução de DNA na mesma proporção. Um número vai para o caderno de laboratório, e o número está errado em uma direção específica.
Em uma tarefa de microscopia, o Astra generalizou que os vacúolos são mais escuros que o material celular ao redor, embora a mesma imagem contivesse vacúolos mais claros. Alterar a profundidade focal pode inverter o contraste, e as próprias observações intermediárias do Astra haviam notado que o contraste variava com o foco. O modelo viu a coisa, anotou-a e então respondeu como se não tivesse visto.
Em uma tarefa de clonagem, o Sol baseou uma conclusão no fato de não ver colônias em uma placa de controle negativo. O Astra percebeu que a placa estava rotulada para canamicina, enquanto o experimento usava ampicilina, e a rejeitou como controle utilizável. Essa é uma resposta genuinamente melhor, e vem da leitura de um rótulo em uma fotografia.
A lacuna entre observar e concluir
Os exemplos acima se dividem em duas categorias, e é na segunda que está o trabalho de verdade.
A categoria um é a percepção. O modelo viu a colônia, a banda, o rótulo, o segundo canal de corante? Nesse eixo, o Astra melhorou em relação ao Sol de maneiras que a OpenAI documenta: reconhecer que duas janelas de detecção de corante se sobrepõem e pedir controles que separem os sinais, ou identificar um z-stack em vez de inventar uma explicação biológica para células que pareciam desaparecer.
A categoria dois é se a observação governa a conclusão. O próprio resumo da OpenAI coloca bem: alguns exemplos mostram observações corretas que não governam a resposta final. Esse é um problema diferente de olhar com mais atenção. É um problema sobre como um modelo leva a evidência até uma decisão, e nenhuma quantidade de resolução o corrige.
É por causa dessa lacuna que acho o benchmark mais interessante do que sua pontuação agregada. Um único número permite classificar modelos. Falhas exemplificadas permitem projetar um fluxo de trabalho. Se seu agente é forte em ler géis e fraco em respeitar um controle, você contorna isso. Você exige a verificação do controle como uma etapa separada, faz o agente declarar qual placa está usando e por quê, e coloca um humano na aprovação final de qualquer coisa a jusante de uma contagem de colônias.
O detalhe da eficiência de tokens
Um número no lançamento merece mais atenção do que recebeu. O Astra usou, em média, 4.704 tokens de saída por tarefa. O Sol usou, em média, 9.099. O modelo melhor usou aproximadamente metade dos tokens.
Isso inverte a suposição usual de que mais esforço de raciocínio compra qualidade. Também muda o modelo de custos para qualquer pessoa que execute essas tarefas em escala. Se um laboratório processa algumas centenas de imagens por semana, a diferença entre 4.700 e 9.100 tokens por tarefa não é um erro de arredondamento nem em latência nem em gasto.
Para que a OpenAI diz que isso serve
O enquadramento é deliberado. A OpenAI quer que agentes ajudem na pesquisa biológica e, para isso, eles precisam interpretar as evidências com que os cientistas realmente trabalham, incluindo experimentos fracassados, imagens ambíguas e observações conflitantes. Benchmarks existentes construídos sobre figuras prontas para publicação removem exatamente a ambiguidade que torna o trabalho difícil.
A empresa também diz que acompanhar essas capacidades informará sua avaliação de consequências de biossegurança e bioproteção. Essa frase faz muito trabalho. Um modelo que consegue ler um gel é um modelo que consegue ler um gel, e a mesma habilidade que ajuda um laboratório a solucionar problemas em uma etapa de clonagem é a habilidade que você gostaria de ver rigidamente governada em outras mãos. Publicar um benchmark que mede competência em interpretação de laboratório úmido é uma forma de tornar o progresso legível antes que ele se torne um problema de política.
A leitura honesta
O BioBasicsBench é um benchmark criado por um laboratório, com tarefas escritas por uma empresa parceira e pontuado segundo rubricas que esses cientistas escreveram. É um design razoável e não é uma avaliação independente. Os números devem ser lidos como uma descrição do que os modelos fizeram neste conjunto específico, não como um ranking de todo o campo.
O que o torna valioso de qualquer forma é a especificidade. Vinte pontos de melhoria entre gerações soa como marketing. Um modelo que confunde uma placa de canamicina com um controle de ampicilina, e depois outro modelo que percebe isso, lhe diz algo que permite agir.
O patamar prático para agentes de laboratório está em outro lugar que não uma média mais alta. Está em saber se o agente consegue olhar para evidências bagunçadas, notar o que está errado com os controles e recusar-se a concluir quando os dados não sustentam a conclusão. O BioBasicsBench mede as três coisas, e os erros publicados mostram o quanto a terceira ainda precisa avançar.
Artigos relacionados
O conselho criou um comitê de exportação na mesma semana do balanço
Só o resultado virou notícia. O comitê de controle de exportação é o que pode mudar de fato como a empresa opera.
A Nvidia nunca formou um banco de sucessores. Essa é a descoberta.
A empresa passou trinta e três anos decidindo, sem dizer, que a pergunta sobre quem vem depois não era urgente.
A AMD ganhou 19% só por ser a outra opção
O dinheiro não saiu de IA. Saiu do único nome com problema de governança e foi para os dois que não tinham.
Dez rebaixamentos em quatro sessões e nenhum número novo
Ninguém publicou dado novo sobre o livro de pedidos. O que mudou foi a largura da faixa, não o ponto do meio.