OpenAIがウェットラボ向けベンチマーク公開、最高モデルでも66.7%どまり

OpenAIは11月6日、酵素設計企業のLigoと共同で構築したBioBasicsBenchを公開した。今回の最高成績は最高推論設定のGPT-6 Astraで、配点の66.7%を獲得した。前世代のGPT-5.6 Solは43.8%だった。
66.7%という見出しは妙なものだ。試験された中で最強のモデルが、現役の研究者なら確実にこなすはずの日常的なラボ解釈のほぼ3分の1を、いまも間違えるという意味だからだ。ためになるのは失敗例のほうで、OpenAIはスコアと一緒に公開している。
ベンチマークがモデルに突きつけるもの
日常的なウェットラボ作業の5領域にわたる100タスク。タンパク質の手法、イメージングとサイトメトリー、定量とアッセイ、核酸の手法、分子クローニングである。
重要なのは入力の側だ。論文から切り出した図では要点を外す。モデルに渡るのは実験の生の残骸である。ゲルとブロットの画像が31タスク、プロトコルやラボノート、手書きメモの写真が27、表と装置のエクスポートが20、ベンチやゲル装置、試薬チューブ、PCRプレート、チューブラック、pH試験紙、液体ハンドラのデッキの写真が18、明視野と蛍光の生データやマルチチャネル、Zスタック、タイムラプスを含む顕微鏡画像が14、装置画面と検量線のエクスポートの写真が13、ロングリードの生FASTQとGenBankマップが12、画線培養や段階希釈、SDS-PAGEの準備を撮ったプロトコル動画が7、形質転換プレートと抗生物質ディスクのプレートを使うタスクが7。さらに21タスクにはラダーチャートやプラスミドマップといった参照資料が含まれる。
タスクは科学者が自分の実験から書き、採点基準も自分で書いた。各タスクは、執筆に関わっていないLigoの科学者、次に外部の博士級ウェットラボ科学者、最後に社内での最終確認という順にレビューされ、確認はプロンプト、根拠、ルーブリック、著者メモ、採点済みのモデル解答までをカバーする。
採点は個々のルーブリック項目に対する部分点で、正しい結論と部分的に正しい分析を切り分けられる。7モデルを37のモデル/推論強度の設定で走らせ、1タスクあたり5回試行して18,500件の採点結果を得た。信頼区間はタスク単位でのリサンプリングで算出している。
ほとんどのタスクは複数の能力を同時に試す。生物学の知識、画像の解釈、誤りの検出、プロトコルの理解。この重なりが狙いだ。ウェスタンブロットが何かを知っていても、目の前の1枚を読み違えることはある。
失敗が具体的で、だから役に立つ
コロニーPCRのタスクで、Astraはレーン4、6、7、8を選び、PCR産物が大きいほどクローニングが成功したと推論した。参照となる解釈はレーン5、9、10を選んでいる。Astraの答えに従えば、間違ったプラスミドを精製することになる。1週間を失うタイプの失敗だ。

コロニー計数のタスクでは、Astraは近接した隣同士を分離できず、見えているコロニーを取りこぼし、空の寒天をコロニーとして印を付けた。結果は参照に対して約12%の過大計数である。プレーティング量と希釈が固定されていれば、その誤差はDNA導入効率の推定値を同じ割合で膨らませる。数字がラボノートに書き込まれ、その数字は特定の方向に間違っている。
顕微鏡のタスクでは、Astraは液胞が周囲の細胞質より暗いと一般化したが、同じ画像には明るい液胞も写っていた。焦点深度を変えればコントラストは反転しうるし、Astra自身の中間観察も焦点によってコントラストが変わると記録していた。モデルは見て、書き留めて、それから見なかったかのように答えた。
クローニングのタスクでは、Solが陰性対照プレートにコロニーが見えないことを根拠に結論を出した。Astraはそのプレートがカナマイシン用の表示なのに実験ではアンピシリンを使っていることに気づき、対照として使えないと退けた。明らかに良い答えで、しかも写真の中のラベルを読んだ結果である。
観察と結論のあいだの隙間
上の例は2つに分かれる。本当の仕事があるのは2つ目のほうだ。
1つ目は知覚である。コロニーが見えたか、バンドが見えたか、ラベルが読めたか、2つ目の色素チャネルが扱えたか。この軸でAstraはSolから改善しており、OpenAIも文書化している。2つの色素検出窓が重なることを認識して信号を分離する対照を求める、消えたように見える細胞に生物学的な説明をでっち上げずZスタックだと同定する、といった例だ。
2つ目は、その観察が結論を縛るかどうか。OpenAI自身の要約がうまく言っている。正しい観察が最終回答を規定できずに終わる例がある、と。これはもっとよく見るという問題とは別物だ。モデルが証拠を決定まで運ぶかという問題で、解像度をいくら上げても直らない。
その隙間があるから、筆者は総合スコアよりこのベンチマークを面白いと思う。数字が1つあればモデルを順位付けできる。解き明かされた失敗例があればワークフローを設計できる。ゲルの読み取りに強く対照の尊重に弱いエージェントなら、そこを迂回する。対照確認を独立した手順として必須にし、どのプレートをなぜ使うかをエージェントに言わせ、コロニー計数の下流にあるものは人間が承認する。
トークン効率という細部
今回の発表で、もう少し注目されてよい数字がある。Astraは1タスクあたり平均4,704出力トークン、Solは9,099だった。性能の高いモデルがおよそ半分のトークンで済ませている。
これは、推論に多く費やすほど品質が上がるという通念をひっくり返す。大規模に回す側のコストモデルも変わる。週に数百枚の画像を処理するラボなら、1タスク4,700トークンと9,100トークンの差は、遅延でも支出でも誤差では済まない。
OpenAIはこれを何のためと言うか
枠付けは意図的だ。OpenAIはエージェントに生物学研究を手伝わせたい。そのためには科学者が実際に扱う証拠、失敗した実験、曖昧な画像、矛盾する観察を解釈できる必要がある。論文向けに整えた図だけを使う既存のベンチマークは、仕事を難しくしている曖昧さをちょうど取り除いてしまう。
同社はまた、これらの能力の追跡がバイオセーフティとバイオセキュリティの影響評価に役立つとも述べる。この一文は多くを担っている。ゲルを読めるモデルはゲルを読めるモデルであり、ラボのクローニング手順のトラブル対応を助ける能力は、他の誰かの手元では厳しく統治したい能力でもある。ウェットラボ解釈の能力を測るベンチマークを出すことは、政策課題になる前に進歩を可読にする手段だ。
正直な読み方
BioBasicsBenchは、ラボが作り、協力企業の科学者が書いたタスクを、その科学者たちが書いたルーブリックで採点するベンチマークだ。合理的な設計であり、独立した評価ではない。数字はこの特定のセットでモデルが何をしたかの記述として読むべきで、分野全体のランキングではない。
それでも価値があるのは具体性のためだ。世代間で20ポイント改善と言えば売り文句に聞こえる。カナマイシンのプレートをアンピシリンの対照と取り違えるモデルと、それを見抜く別のモデルがあれば、行動に移せる情報になる。
ラボ用エージェントの実務的な基準は、平均点の高さではない。雑然とした証拠を見て、対照のどこがおかしいかに気づき、データが結論を支えないなら結論を出さないと断れるかどうかだ。BioBasicsBenchはその3つを測っており、公開された取りこぼしは3つ目がまだどれだけ遠いかを示している。
関連記事
Antigravityのリモートエージェント、クラウドVMで動く代わりに手放すもの
Antigravity 2.29でリモートエージェントが登場し、セッションとツールがGoogle管理のクラウドVMで動くようになった。ノートPCを閉じても作業は続くが、ローカルのMCPサーバーやskillsは失われる。
NVIDIA、世界モデル「Cosmos 3」の派生4種とデコード基盤「VFlash」を相次いで公開
NVIDIAは11月5日、16BのCosmos 3 Nanoを専門化した4つのチェックポイントをOpenMDW1.1で公開し、学習レシピと推論コードも添えた。翌日には幾何出力を並列生成するデコード基盤VFlashを発表している。
GitHubトレンドの4分の1を「エージェントskills」が占め、導入方法は4通りに分裂
11月8日のGitHubデイリートレンド15件のうち4件がエージェントskillsのリポジトリだった。形式は`SKILL.md`とYAMLフロントマターだけで単純だが、導入経路は4製品でばらばらで、重複が優先順位の問題を生む。
Thinking Machinesの「Inkling 2 Small」、594Bの疎なMoEで86.3% 重みは「来週」のまま
Thinking Machinesは11月5日、総パラメータ594B・トークンあたり17B活性の疎なMoE「Inkling 2 Small」を発表した。SWE-Bench Pro v2 Hardで86.3%を記録し、Apache 2.0の重みは公開1週間後以降とされる。