← 返回博客
Ai预计阅读 9 分钟

AI 智能体还是会把三块胶里的看错一块,OpenAI 的新基准把错在哪儿摊开了

发布于 2026年11月7日
AI 智能体还是会把三块胶里的看错一块,OpenAI 的新基准把错在哪儿摊开了

OpenAI 在 11 月 6 日发布了 BioBasicsBench,合作方是酶设计公司 Ligo。这次公布里最好的成绩属于 GPT-6 Astra,用的最高推理档,拿到可用分数的 66.7%。上一代 GPT-5.6 Sol 是 43.8%。

66.7% 当标题挺怪的。它意味着被测过的最强模型,在这些一个在职科学家本该稳稳完成的日常实验判读上,还是大约三次错一次。更有用的内容在失败案例里,OpenAI 把那些跟分数一起放出来了。

这个基准把什么摆到模型面前

100 个任务,覆盖湿实验室日常工作的五个方向:蛋白方法、成像与流式、定量与测定、核酸方法、分子克隆。

输入才是关键。从论文里截的图表会丢掉要点。模型拿到的是实验的原始残留物:31 个任务是胶图和印迹图,27 个是操作流程、实验记录本和手写笔记的照片,20 个是表格和仪器导出,18 个是实验台、电泳槽、试剂管、PCR 板、管架、pH 试纸和液体处理工作站的照片,14 个是显微图像,包括原始明场和荧光、多通道组图、z 堆栈和延时,13 个是仪器屏幕照片和导出的标准曲线,12 个是原始长读长 FASTQ 和 GenBank 图谱,7 个是划线、梯度稀释和配 SDS-PAGE 的操作视频,还有 7 个建立在转化平板和抗生素纸片平板上的任务。另外 21 个任务带参考材料,比如分子量梯图和质粒图谱。

任务是科学家从自己的实验里写出来的,评分标准也是他们写的。每个任务要过一轮没参与写作的 Ligo 科学家审,再过一位外部博士级湿实验室科学家,最后一轮内部检查覆盖题干、证据、评分标准、作者备注和一次被打分的模型作答。

打分是按评分标准逐条给部分分,这样能把「结论对」和「分析部分对」分开。七个模型在 37 种模型与推理强度组合下跑,每个任务五次尝试,产出 18500 条打分结果。置信区间用整任务重采样算出来。

大多数任务同时考好几项能力:生物学知识、图像判读、错误发现、流程理解。这种重叠正是重点。一个模型可以知道 Western blot 是什么,然后照样看错一张。

失败案例很具体,所以有用

在一个菌落 PCR 任务里,Astra 挑了 4、6、7、8 泳道,理由是 PCR 产物更大就说明克隆成功了。参考判读选的是 5、9、10 泳道。按 Astra 的答案去做,等于纯化错的质粒。这种错代价是一周。

玻璃板上的一块淡色凝胶,冷蓝光从下方透上来,凝胶里隐约几道暗带。

在一个菌落计数任务里,Astra 没把挨得近的菌落分开,漏掉了看得见的菌落,还把空琼脂标成菌落,跟参考比大约多算了 12%。在涂布体积和稀释倍数固定的情况下,这个误差会以同样的比例抬高 DNA 导入效率的估计值。一个数字进了实验记录本,而这个数字错的方向是确定的。

在一个显微任务里,Astra 归纳出「液泡比周围细胞质暗」,可同一张图里就有更亮的液泡。改变焦平面能把对比度反过来,而 Astra 自己的中间观察里明明记下了对比度随焦距变化。模型看见了,写下来了,然后作答的时候像是没这回事。

在一个克隆任务里,Sol 因为阴性对照板上没长菌落就下了结论。Astra 注意到这块板标的是卡那霉素,而实验用的是氨苄西林,于是判定它不能当对照用。这是明显更好的答案,而它来自读一张照片上的标签。

看见和得出结论之间的缝

上面这些例子分成两类,第二类才是真正费劲的地方。

第一类是感知。模型看没看见那个菌落、那条带、那个标签、第二个荧光通道。在这个方向上 Astra 比 Sol 强,OpenAI 也写下来了:认出两个荧光检测窗口有重叠,要求做能分开信号的对照;或者认出这是一组 z 堆栈,而不是给「好像消失了的细胞」编一个生物学解释。

第二类是观察管不管得住结论。OpenAI 自己的总结说得挺好:有些例子里,观察是对的,但没能管住最终答案。这跟「再仔细看看」是两码事。这是模型怎么把证据带到决策里的问题,分辨率再高也解决不了。

就是这条缝让我觉得这个基准比它的总分有意思。一个数字让你给模型排名。一份份拆开的失败让你设计工作流。如果你的智能体读胶很强、但不够尊重对照,你就绕开它。你把对照检查做成单独一步,你要求智能体说明它在用哪块板以及为什么,你在菌落计数下游的任何环节都放一个人签字。

token 效率那个细节

发布里有个数字值得更多关注。Astra 平均每个任务输出 4704 个 token。Sol 是 9099。更好的模型用了大约一半的 token。

这跟「推理更使劲就换来更好质量」的常见假设是反的。它也改变了任何规模化跑这些任务的人的成本模型。如果一个实验室一周处理几百张图,每任务 4700 和 9100 的差别,在延迟和花销上都不是可以四舍五入的量。

OpenAI 说这是干什么用的

这个框定是刻意的。OpenAI 想让智能体帮生物学研究,那就得能判读科学家真正在用的证据,包括失败的实验、有歧义的图像、互相冲突的观察。现有那些建立在可以直接进论文的图上的基准,恰好把让这件事变难的模糊性给剔掉了。

公司还说,跟进这些能力会影响它对生物安全和生物安保后果的评估。这句话承载的东西不少。一个能读胶的模型就是一个能读胶的模型,帮实验室排查克隆步骤的那项本事,也正是你希望被别人管得死死的那项本事。发一个衡量湿实验室判读能力的基准,是在它变成政策问题之前先把进展讲清楚的一种办法。

老实说

BioBasicsBench 是一个实验室做的基准,任务是合作公司写的,评分标准是那些科学家写的。这个设计合理,但它不是独立评测。这些数字该被读成「模型在这个特定集合上做了什么」的描述,不是全领域排名。

它还是有价值,价值在具体。代际之间提升二十个点听起来像营销。一个模型把卡那霉素板当成氨苄西林对照,另一个模型把它抓出来,这个你能拿去用。

实验室智能体的实际门槛不在平均分上。而在于它能不能看着一堆乱证据,发现对照哪里不对,以及在数据撑不住结论的时候拒绝下结论。BioBasicsBench 三项都测了,公布的那些失误说明第三项还差多远。

相关文章