OpenAI, 실험실 업무 벤치마크 공개…최고 모델도 66.7% 그쳐

OpenAI는 11월 6일 효소 설계 기업 Ligo와 함께 만든 BioBasicsBench를 공개했다. 이번 최고 성적은 최고 추론 설정의 GPT-6 Astra로 배점의 66.7%를 얻었다. 이전 세대인 GPT-5.6 Sol은 43.8%였다.
66.7%는 묘한 헤드라인이다. 시험한 모델 중 가장 강한 모델이, 현직 과학자라면 안정적으로 해내야 할 일상적 실험실 해석의 3분의 1가량을 여전히 틀린다는 뜻이기 때문이다. 쓸모 있는 내용은 실패 사례 쪽에 있고, OpenAI는 점수와 함께 이를 공개했다.
벤치마크가 모델 앞에 놓는 것
일상적인 습식 실험실 업무 다섯 영역에 걸친 100개 과제다. 단백질 방법, 이미징과 세포측정, 정량과 분석, 핵산 방법, 분자 클로닝이다.
중요한 것은 입력 쪽이다. 논문에서 잘라낸 그림으로는 요점을 놓친다. 모델이 받는 것은 실험의 날것 그대로의 잔해다. 젤과 블롯 이미지가 31개 과제, 프로토콜과 실험 노트, 손글씨 메모 사진이 27개, 표와 기기 내보내기 파일이 20개, 벤치와 젤 장치, 시약 튜브, PCR 플레이트, 튜브 랙, pH 시험지, 액체 핸들러 데크 사진이 18개, 명시야와 형광 원본, 다중 채널, Z스택, 타임랩스를 포함한 현미경 이미지가 14개, 기기 화면과 표준곡선 내보내기 사진이 13개, 롱리드 원본 FASTQ와 GenBank 맵이 12개, 도말 배양과 단계 희석, SDS-PAGE 준비를 찍은 프로토콜 영상이 7개, 형질전환 플레이트와 항생제 디스크 플레이트를 쓰는 과제가 7개다. 여기에 21개 과제는 래더 차트나 플라스미드 맵 같은 참고 자료를 포함한다.
과제는 과학자들이 자기 실험에서 직접 썼고 채점 기준도 직접 작성했다. 각 과제는 글을 쓰지 않은 Ligo 과학자, 그다음 외부 박사급 습식 실험실 과학자, 마지막으로 사내 최종 검토 순으로 리뷰를 거쳤고, 검토는 프롬프트, 근거, 루브릭, 작성자 메모, 채점된 모델 시도까지 포괄한다.
채점은 개별 루브릭 항목에 대한 부분점수 방식이라 올바른 결론과 부분적으로 맞는 분석을 구분할 수 있다. 7개 모델을 37가지 모델·추론 강도 설정으로 돌리고 과제당 5회 시도해 1만8,500건의 채점 결과를 얻었다. 신뢰구간은 과제 단위 재표본으로 계산했다.
대부분의 과제는 여러 능력을 동시에 시험한다. 생물학 지식, 이미지 해석, 오류 탐지, 프로토콜 이해다. 이 겹침이 핵심이다. 웨스턴 블롯이 무엇인지 알아도 눈앞의 한 장을 잘못 읽을 수 있다.
실패가 구체적이고, 그래서 유용하다
콜로니 PCR 과제에서 Astra는 레인 4, 6, 7, 8을 골랐고, PCR 산물이 클수록 클로닝이 성공했다고 추론했다. 기준 해석은 레인 5, 9, 10을 선택했다. Astra의 답대로라면 잘못된 플라스미드를 정제하게 된다. 일주일을 날리는 유형의 실패다.

콜로니 계수 과제에서 Astra는 가까이 붙은 이웃을 분리하지 못했고, 보이는 콜로니를 놓쳤고, 빈 한천을 콜로니로 표시했다. 결과는 기준 대비 약 12% 과다 계수다. 분주량과 희석이 고정되어 있다면 그 오차는 DNA 도입 효율 추정치를 같은 비율로 부풀린다. 숫자가 실험 노트에 적히고, 그 숫자는 특정한 방향으로 틀려 있다.
현미경 과제에서 Astra는 액포가 주변 세포질보다 어둡다고 일반화했지만, 같은 이미지에는 밝은 액포도 있었다. 초점 깊이를 바꾸면 대비가 뒤집힐 수 있고, Astra 자신의 중간 관찰도 초점에 따라 대비가 달라진다고 적어 두었다. 모델은 보고, 적어 두고, 그러고 나서 보지 못한 것처럼 답했다.
클로닝 과제에서 Sol은 음성 대조 플레이트에 콜로니가 보이지 않는다는 점에 근거해 결론을 냈다. Astra는 그 플레이트가 카나마이신용으로 표시되어 있는데 실험은 암피실린을 썼다는 것을 알아채고 대조로 쓸 수 없다고 배제했다. 확실히 더 나은 답이고, 사진 속 라벨을 읽은 결과다.
관찰과 결론 사이의 틈
위 사례는 두 갈래로 나뉘고, 진짜 작업은 두 번째에 있다.
첫째는 지각이다. 콜로니가 보였는지, 밴드가 보였는지, 라벨을 읽었는지, 두 번째 염료 채널을 다뤘는지. 이 축에서 Astra는 Sol보다 나아졌고 OpenAI도 문서화했다. 두 염료 검출 창이 겹친다는 것을 인식해 신호를 분리하는 대조를 요구하거나, 사라진 것처럼 보이는 세포에 생물학적 설명을 지어내지 않고 Z스택으로 동정하는 사례다.
둘째는 그 관찰이 결론을 붙잡는지다. OpenAI의 요약이 잘 짚는다. 올바른 관찰이 최종 답을 규정하지 못하는 사례가 있다는 것이다. 이는 더 열심히 보는 문제와 다르다. 모델이 증거를 결정까지 끌고 가는가의 문제이고, 해상도를 아무리 올려도 고쳐지지 않는다.
그 틈 때문에 이 벤치마크가 총점보다 흥미롭다. 숫자 하나로는 모델 순위를 매길 수 있다. 풀어 놓은 실패 사례로는 워크플로를 설계할 수 있다. 젤 읽기에 강하고 대조 존중에 약한 에이전트라면 그 부분을 우회한다. 대조 확인을 별도 단계로 요구하고, 어느 플레이트를 왜 쓰는지 에이전트가 말하게 하고, 콜로니 계수 하류의 일은 사람이 승인하게 만든다.
토큰 효율이라는 세부
이번 발표에서 조금 더 주목받아야 할 숫자가 있다. Astra는 과제당 평균 4,704 출력 토큰, Sol은 9,099를 썼다. 더 나은 모델이 절반가량의 토큰으로 끝냈다.
이것은 추론에 더 많이 쓰면 품질이 오른다는 통념을 뒤집는다. 대규모로 돌리는 쪽의 비용 모델도 바뀐다. 주당 수백 장의 이미지를 처리하는 실험실이라면 과제당 4,700토큰과 9,100토큰의 차이는 지연에서도 비용에서도 반올림 오차가 아니다.
OpenAI가 말하는 용도
틀은 의도적이다. OpenAI는 에이전트가 생물학 연구를 돕기를 원하고, 그러려면 과학자가 실제로 다루는 증거, 즉 실패한 실험과 모호한 이미지, 상충하는 관찰을 해석할 수 있어야 한다. 논문용으로 다듬은 그림만 쓰는 기존 벤치마크는 일을 어렵게 만드는 바로 그 모호함을 걷어낸다.
회사는 또 이런 능력을 추적하는 것이 바이오안전과 바이오보안 영향 평가에 도움이 될 것이라고 말한다. 이 문장은 많은 것을 짊어지고 있다. 젤을 읽는 모델은 젤을 읽는 모델이고, 실험실의 클로닝 문제 해결을 돕는 능력은 다른 손에 있을 때는 단단히 통제하고 싶은 능력이기도 하다. 습식 실험실 해석 능력을 측정하는 벤치마크를 내놓는 것은 정책 문제가 되기 전에 진전을 읽을 수 있게 만드는 방법이다.
정직한 읽기
BioBasicsBench는 연구소가 만들고, 협력 기업 과학자들이 쓴 과제를, 그 과학자들이 쓴 루브릭으로 채점하는 벤치마크다. 합리적인 설계이고 독립 평가는 아니다. 숫자는 이 특정 세트에서 모델이 무엇을 했는지에 대한 기술로 읽어야 하고, 분야 전체 순위가 아니다.
그래도 가치가 있는 이유는 구체성이다. 세대 사이 20점 개선은 마케팅처럼 들린다. 카나마이신 플레이트를 암피실린 대조로 착각하는 모델과 그것을 잡아내는 다른 모델이 있으면 실행할 수 있는 정보가 된다.
실험실용 에이전트의 실무 기준은 평균 점수가 아니다. 지저분한 증거를 보고, 대조의 무엇이 잘못됐는지 알아차리고, 데이터가 결론을 지탱하지 못하면 결론을 내지 않겠다고 물러설 수 있는가다. BioBasicsBench는 이 세 가지를 측정하고, 공개된 실패 사례는 세 번째가 얼마나 멀리 남았는지를 보여준다.
관련 글
Antigravity의 원격 에이전트, 클라우드 VM에서 도는 대신 잃는 것
Antigravity 2.29에서 원격 에이전트가 등장해 세션과 도구가 Google 관리 클라우드 VM에서 돌아간다. 노트북을 닫아도 작업은 계속되지만 로컬 MCP 서버와 skills는 잃는다.
NVIDIA, 월드 모델 'Cosmos 3' 파생 4종과 디코딩 프레임워크 'VFlash' 잇달아 공개
NVIDIA는 11월 5일 16B Cosmos 3 Nano를 전문화한 체크포인트 네 종을 OpenMDW1.1로 공개하고 학습 레시피와 추론 코드를 함께 내놨다. 다음 날에는 기하 출력을 병렬 생성하는 디코딩 프레임워크 VFlash를 발표했다.
GitHub 트렌드 4분의 1이 '에이전트 skills'…설치 방식은 네 갈래로 갈렸다
11월 8일 GitHub 데일리 트렌드 15건 가운데 4건이 에이전트 skills 저장소였다. 형식은 `SKILL.md`와 YAML 프런트매터로 단순하지만, 설치 경로는 네 제품에서 제각각이고 중복이 우선순위 문제를 만든다.
Thinking Machines 'Inkling 2 Small', 594B 희소 MoE로 86.3%…가중치는 여전히 '다음 주'
Thinking Machines는 11월 5일 총 594B, 토큰당 17B 활성의 희소 MoE 'Inkling 2 Small'을 발표했다. SWE-Bench Pro v2 Hard에서 86.3%를 기록했고 Apache 2.0 가중치는 출시 일주일 뒤로 예고됐다.