OpenAI 開生物基準,最強模型 GPT-6 Astra 仍錯三分之一

OpenAI 在 11 月 6 日公布 BioBasicsBench,與酵素設計公司 Ligo 合作打造。這批發布中最好的成績屬於 GPT-6 Astra,開到最高推理強度,拿到可用分數的 66.7%。前一代 GPT-5.6 Sol 是 43.8%。
66.7% 是很奇怪的一種頭條。它意味著受測最強的模型,在一位在職科學家被期待能穩定完成的例行實驗判讀上,仍有大約三分之一答錯。更有用的內容在失敗案例裡,OpenAI 把這些案例跟分數一起公開了。
基準把什麼東西放到模型面前
100 項任務,橫跨濕實驗室例行工作的五個領域:蛋白質方法、影像與流式細胞儀、定量與分析、核酸方法、分子選殖。
重點在輸入。從論文裡截出來的圖表會失去意義。模型拿到的是實驗的原始殘留物:31 項任務給的是凝膠與 blot 影像;27 項給流程、實驗紀錄本與手寫筆記的照片;20 項給表格與儀器匯出檔;18 項給工作台、跑膠槽、試劑管、PCR 盤、試管架、pH 試紙與液體處理機台的照片;14 項給顯微影像,包含原始明場與螢光、多通道、z-stack 與縮時;13 項給儀器螢幕照片與匯出的標準曲線;12 項給原始長讀長 FASTQ 與 GenBank 圖譜;7 項給劃線接種、序列稀釋與 SDS-PAGE 備製的流程影片;另有 7 項建立在轉形盤與抗生素紙錠盤上。還有 21 項附了梯尺圖、質體圖譜之類的參考資料。
題目由科學家依自己的實驗寫成,評分規準也由他們寫。每題都經過沒參與出題的 Ligo 科學家審過,再交給外部博士級濕實驗室科學家,最後內部再做一輪,檢查提示、證據、規準、作者註記與一次實際的模型作答。
評分是按規準逐項給部分分數,因此能區分結論正確與分析部分正確。7 個模型、37 種模型與推理強度組合,每題跑 5 次,共產生 18,500 筆評分結果。信賴區間用整題重新抽樣計算。
多數題目同時考好幾種能力:生物知識、影像判讀、錯誤偵測、流程理解。這種重疊就是重點。模型可以知道 Western blot 是什麼,卻還是看錯一張。
失敗案例很具體,所以有用
在一題 colony-PCR 裡,Astra 挑了 4、6、7、8 號泳道,理由是 PCR 產物較大代表選殖成功。參考判讀選的是 5、9、10 號。照 Astra 的答案做,等於純化到錯誤的質體。這種錯誤會吃掉一週。

在一題菌落計數裡,Astra 沒能把緊鄰的菌落分開,漏掉看得見的菌落,還把空白的培養基標成菌落,比參考值多算了大約 12%。在塗佈體積與稀釋倍數固定的情況下,這個誤差會以相同比例高估 DNA 導入效率。數字會被寫進實驗紀錄本,而且是往特定方向錯。
在一題顯微影像裡,Astra 歸納出液泡比周圍細胞質暗,但同一張影像裡也有較亮的液泡。改變對焦深度可以讓對比反轉,而 Astra 自己的中間觀察就記下了對比會隨焦距變化。模型看到了、也寫下來了,最後卻像沒看到一樣作答。
在一題選殖題裡,Sol 看到陰性對照盤上沒有菌落,就據此下結論。Astra 注意到那個盤標的是 kanamycin,而實驗用的是 ampicillin,於是判定它不能當作可用的對照。這是明顯更好的答案,而它來自讀出照片上的一個標籤。
觀察與下結論之間的落差
上面這些例子可以分成兩類,真正的工作在第二類。
第一類是感知。模型有沒有看到菌落、條帶、標籤、第二個螢光通道。在這個軸線上,Astra 比 Sol 進步,OpenAI 也記錄了:認出兩個染劑偵測視窗有重疊,並要求做能分開訊號的對照;或認出這是一組 z-stack,而不是替看起來消失的細胞編一個生物學解釋。
第二類是觀察到底有沒有管住結論。OpenAI 自己的摘要寫得很好:有些例子顯示,正確的觀察沒能主導最後的答案。這跟看得更用力是不同問題。它關乎模型怎麼把證據帶到決策那一步,而解析度再高也修不好。
正因為這個落差,這份基準比它的總分有意思。單一分數讓你排名,具體的失敗讓你設計流程。如果你的代理讀凝膠很強、尊重對照很弱,你就繞過它:把對照檢查拆成獨立步驟,要求代理說明它用的是哪一個盤、為什麼,菌落計數之後的任何環節都留一個人簽核。
token 效率那個細節
發布資料裡有個數字被關注得太少。Astra 平均每題輸出 4,704 個 token,Sol 平均 9,099 個。比較好的模型用了大約一半。
這推翻了推理越用力、品質越好的常見假設,也改變大量執行這類任務的成本模型。如果一個實驗室每週處理幾百張影像,每題 4,700 與 9,100 個 token 的差別,在延遲或支出上都不算誤差。
OpenAI 說這個基準要拿來做什麼
這個定位是刻意的。OpenAI 想讓代理協助生物研究,那就得能判讀科學家真正在用的證據,包括失敗的實驗、模糊的影像、互相衝突的觀察。既有那些用可直接放進論文的圖表打造的基準,恰好把讓工作變難的模糊地帶都剔掉了。
公司還說,掌握這些能力會影響它對生物安全與生物安保後果的評估。這句話承擔了很多重量。能讀凝膠的模型就是能讀凝膠的模型,而這項幫實驗室排查選殖步驟的能力,換到別人手上就是會想嚴格管住的能力。公開一份衡量濕實驗室判讀能力的基準,是在它變成政策問題之前,先讓進展變得可讀。
誠實的讀法
BioBasicsBench 是一家實驗室做的基準,題目由合作公司寫,評分用那些科學家自己訂的規準。這個設計合理,但不是獨立評測。數字該讀成模型在這組題目上做了什麼,而不是全領域排名。
它仍然有價值,原因是具體。世代之間進步二十分聽起來像行銷。一顆模型把 kanamycin 盤誤當成 ampicillin 對照,另一顆抓到這件事,這就告訴你可以採取行動的東西。
實驗室代理的實用門檻不在平均分更高。而在於它能不能看著一團亂的證據、注意到對照哪裡不對,並在資料撐不起結論時拒絕下結論。BioBasicsBench 三項都量了,而公開的失手顯示第三項還差多遠。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。