← Voltar ao blog
Aicerca de 8 min de leitura

Agentes de IA ainda interpretam mal um em cada três géis. O novo benchmark da OpenAI mostra exatamente como.

Publicado 7 de nov. de 2026
Agentes de IA ainda interpretam mal um em cada três géis. O novo benchmark da OpenAI mostra exatamente como.

A OpenAI publicou o BioBasicsBench em 6 de novembro, desenvolvido com a Ligo, uma empresa de design de enzimas. O melhor resultado do lançamento pertence ao GPT-6 Astra na configuração de raciocínio mais alta, que obteve 66,7% do crédito disponível. O GPT-5.6 Sol, da geração anterior, ficou com 43,8%.

Sessenta e seis vírgula sete por cento é um tipo estranho de manchete. Significa que o modelo mais forte testado ainda erra aproximadamente uma em cada três interpretações rotineiras de laboratório, em tarefas que se espera que um cientista em atividade conclua de forma confiável. O conteúdo mais útil está nos casos de falha, que a OpenAI publicou junto com a pontuação.

O que o benchmark coloca diante do modelo

Cem tarefas em cinco áreas de trabalho laboratorial úmido: métodos com proteínas, imagem e citometria, quantificação e ensaios, métodos com ácidos nucleicos e clonagem molecular.

A entrada é a parte que importa. Gráficos retirados de artigos perderiam o ponto. O que o modelo recebe é o resíduo bruto dos experimentos: imagens de géis e blots em 31 tarefas; protocolos, cadernos de laboratório e notas manuscritas fotografadas em 27; tabelas e exportações de instrumentos em 20; fotos de bancadas, cubas de gel, tubos de reagentes, uma placa de PCR, racks de tubos, fitas de pH e uma plataforma de manipulador de líquidos em 18; microscopia, incluindo campo claro e fluorescência brutos, conjuntos multicanal, z-stacks e time-lapse em 14; fotos de telas de instrumentos e curvas padrão exportadas em 13; FASTQs brutos de leituras longas e mapas GenBank em 12; vídeos de protocolo de semeadura por estria, diluição seriada e montagem de SDS-PAGE em 7; e sete tarefas baseadas em placas de transformação e placas com discos de antibiótico. Outras 21 tarefas incluem material de referência, como gráficos de escada e mapas de plasmídeos.

Cientistas escreveram as tarefas a partir de seus próprios experimentos e redigiram as rubricas de avaliação. Cada tarefa passou por revisão de um cientista da Ligo que não a escreveu, depois por um cientista externo de laboratório úmido com nível de doutorado e, em seguida, por uma etapa interna final cobrindo prompt, evidências, rubrica, notas do autor e uma tentativa de modelo avaliada.

A pontuação é por crédito parcial segundo critérios individuais da rubrica, o que permite ao benchmark separar uma conclusão correta de uma análise parcialmente correta. Sete modelos foram executados em 37 configurações de modelo e esforço de raciocínio, com cinco tentativas por tarefa, produzindo 18.500 resultados pontuados. Os intervalos de confiança foram calculados por reamostragem de tarefas inteiras.

A maioria das tarefas testa várias habilidades ao mesmo tempo: conhecimento biológico, interpretação de imagens, detecção de erros e compreensão de protocolos. Essa sobreposição é o ponto. Um modelo pode saber o que é um Western blot e ainda assim interpretá-lo mal.

As falhas são específicas, e é por isso que são úteis

Em uma tarefa de PCR de colônias, o Astra escolheu as canaletas 4, 6, 7 e 8, raciocinando que um produto de PCR maior significava clonagem bem-sucedida. A interpretação de referência selecionou as canaletas 5, 9 e 10. Agir com base na resposta do Astra significaria purificar o plasmídeo errado. Esse é o tipo de falha que custa uma semana.

Um bloco de gel pálido sobre uma placa de vidro iluminada por baixo por luz azul fria, com bandas escuras tênues dentro do gel.

Em uma tarefa de contagem de colônias, o Astra não conseguiu separar colônias vizinhas próximas, deixou de ver colônias visíveis e marcou ágar vazio como colônias, produzindo uma contagem cerca de 12% acima da referência. Com o volume plaqueado e a diluição fixos, esse erro infla a eficiência estimada de introdução de DNA na mesma proporção. Um número vai para o caderno de laboratório, e o número está errado em uma direção específica.

Em uma tarefa de microscopia, o Astra generalizou que os vacúolos são mais escuros que o material celular ao redor, embora a mesma imagem contivesse vacúolos mais claros. Alterar a profundidade focal pode inverter o contraste, e as próprias observações intermediárias do Astra haviam notado que o contraste variava com o foco. O modelo viu a coisa, anotou-a e então respondeu como se não tivesse visto.

Em uma tarefa de clonagem, o Sol baseou uma conclusão no fato de não ver colônias em uma placa de controle negativo. O Astra percebeu que a placa estava rotulada para canamicina, enquanto o experimento usava ampicilina, e a rejeitou como controle utilizável. Essa é uma resposta genuinamente melhor, e vem da leitura de um rótulo em uma fotografia.

A lacuna entre observar e concluir

Os exemplos acima se dividem em duas categorias, e é na segunda que está o trabalho de verdade.

A categoria um é a percepção. O modelo viu a colônia, a banda, o rótulo, o segundo canal de corante? Nesse eixo, o Astra melhorou em relação ao Sol de maneiras que a OpenAI documenta: reconhecer que duas janelas de detecção de corante se sobrepõem e pedir controles que separem os sinais, ou identificar um z-stack em vez de inventar uma explicação biológica para células que pareciam desaparecer.

A categoria dois é se a observação governa a conclusão. O próprio resumo da OpenAI coloca bem: alguns exemplos mostram observações corretas que não governam a resposta final. Esse é um problema diferente de olhar com mais atenção. É um problema sobre como um modelo leva a evidência até uma decisão, e nenhuma quantidade de resolução o corrige.

É por causa dessa lacuna que acho o benchmark mais interessante do que sua pontuação agregada. Um único número permite classificar modelos. Falhas exemplificadas permitem projetar um fluxo de trabalho. Se seu agente é forte em ler géis e fraco em respeitar um controle, você contorna isso. Você exige a verificação do controle como uma etapa separada, faz o agente declarar qual placa está usando e por quê, e coloca um humano na aprovação final de qualquer coisa a jusante de uma contagem de colônias.

O detalhe da eficiência de tokens

Um número no lançamento merece mais atenção do que recebeu. O Astra usou, em média, 4.704 tokens de saída por tarefa. O Sol usou, em média, 9.099. O modelo melhor usou aproximadamente metade dos tokens.

Isso inverte a suposição usual de que mais esforço de raciocínio compra qualidade. Também muda o modelo de custos para qualquer pessoa que execute essas tarefas em escala. Se um laboratório processa algumas centenas de imagens por semana, a diferença entre 4.700 e 9.100 tokens por tarefa não é um erro de arredondamento nem em latência nem em gasto.

Para que a OpenAI diz que isso serve

O enquadramento é deliberado. A OpenAI quer que agentes ajudem na pesquisa biológica e, para isso, eles precisam interpretar as evidências com que os cientistas realmente trabalham, incluindo experimentos fracassados, imagens ambíguas e observações conflitantes. Benchmarks existentes construídos sobre figuras prontas para publicação removem exatamente a ambiguidade que torna o trabalho difícil.

A empresa também diz que acompanhar essas capacidades informará sua avaliação de consequências de biossegurança e bioproteção. Essa frase faz muito trabalho. Um modelo que consegue ler um gel é um modelo que consegue ler um gel, e a mesma habilidade que ajuda um laboratório a solucionar problemas em uma etapa de clonagem é a habilidade que você gostaria de ver rigidamente governada em outras mãos. Publicar um benchmark que mede competência em interpretação de laboratório úmido é uma forma de tornar o progresso legível antes que ele se torne um problema de política.

A leitura honesta

O BioBasicsBench é um benchmark criado por um laboratório, com tarefas escritas por uma empresa parceira e pontuado segundo rubricas que esses cientistas escreveram. É um design razoável e não é uma avaliação independente. Os números devem ser lidos como uma descrição do que os modelos fizeram neste conjunto específico, não como um ranking de todo o campo.

O que o torna valioso de qualquer forma é a especificidade. Vinte pontos de melhoria entre gerações soa como marketing. Um modelo que confunde uma placa de canamicina com um controle de ampicilina, e depois outro modelo que percebe isso, lhe diz algo que permite agir.

O patamar prático para agentes de laboratório está em outro lugar que não uma média mais alta. Está em saber se o agente consegue olhar para evidências bagunçadas, notar o que está errado com os controles e recusar-se a concluir quando os dados não sustentam a conclusão. O BioBasicsBench mede as três coisas, e os erros publicados mostram o quanto a terceira ainda precisa avançar.

Artigos relacionados