资讯

OpenAI考自家模型读实验数据,最高66.7分,数菌落仍会数多

2026-11-074 分钟阅读热点
TL;DR论文里的实验图都是挑过的:条带齐整,菌落分明,一眼就能看出结果。可真到了实验台上,胶图发糊,菌落挤成一团,对照组还可能没按预期走。

论文里的实验图都是挑过的:条带齐整,菌落分明,一眼就能看出结果。可真到了实验台上,胶图发糊,菌落挤成一团,对照组还可能没按预期走。

那让 AI 来读这些东西,它读得准吗?

2026年11月6日,OpenAI 发布了 BioBasicsBench,这是它和专做酶设计的生物技术公司 Ligo 一起做的基准,一共 100 个任务,全是湿实验室里的日常分析。我们 AI主线 的看法是:BioBasicsBench 值钱的地方不在榜单上那个分数,而在它把“读原始数据、查对照、看出数据撑不起某个说法”这些实验台上的基本功,变成了一件可以打分的事。

这回考的不是背书,是看胶图和数菌落

100 个任务覆盖五块日常活儿:蛋白方法、成像与细胞术、定量与检测、核酸方法、分子克隆。材料是凝胶照片、菌落平板、显微图像和仪器读数这类原始证据,不是论文里修过的图。

难度跨度不小。简单的像在胶图上读出一段 DNA 的分子量,复杂的要做完整的检测分析。OpenAI 的说法是,这些都是实验员应该稳稳做好的活儿。

打个比方:这就像把一板培养皿递给新来的实习生,问他数数有几个菌落,哪几个该挑出来去验证。考的不是他背没背过教科书,而是他看到的东西和下的判断对不对得上。

评分用的是“平均得分”,OpenAI 的定义是每道题得分占可得分数的百分比。答对一部分也给分,所以别把它当成“做对了多少道题”。

66.7 分,到底算高还是算低

OpenAI 一共测了七个自家模型,从 GPT-5.2 一路到 GPT-6 Astra,每个模型配多种推理强度,每道题每种设置跑五次。推理强度拉到 xhigh 这一档,也就是让模型多想一会儿的设置,GPT-6 Astra 平均拿到 66.7%,GPT-5.6 Sol 是 43.8%。

差了二十多个百分点,看着像跨了一代。先别急。

同一档里,GPT-6.1 Sol 是 62.0%。Astra 的 95% 置信区间是 60.3% 到 73.1%,按 OpenAI 表里的数字,6.1 Sol 的区间是 55.6% 到 68.4%。两段区间重叠了一大块,所以这张表只能看出 Astra 分数略高,看不出它稳赢。真正拉开距离的,是 5.6 Sol 和这一批 6 系列模型之间。

还有一点要提醒:66.7% 是平均拿到了三分之二的可得分,不等于 100 道题里对了 67 道。

最有看头的,是 OpenAI 自己晒的翻车现场

这篇文章里我最服的一点,是 OpenAI 没光晒分,还专门列了 Astra 的失败案例。

数菌落那道题,Astra 标出来的点和真实菌落对不上:挨得近的分不开,看得见的漏掉,空琼脂上还画了点。最后的净结果,是比基准参考多数了约 12%。

12% 听着不多?可菌落数往往要拿去算转化效率,错一成,后面的算式全跟着歪。

另一个例子在分子克隆里。按 OpenAI 的描述,Astra 能看出条带分成了几组,却把各组对应的实验身份判错,样本就选偏了。这种错最麻烦:不是看不懂,而是看懂一半,还很笃定。

OpenAI 自己也把话说在前头:模型在读图、查对照、结合实验背景这几件事上,还有不小的提升空间。

这把尺子怎么用,别硬拿去跟别家比

先把它放进 OpenAI 的路线里看。6月17日它发过 LifeSciBench,750 道专家写的题,覆盖七类研究流程、七个生物学领域,量的是广度。这次的 BioBasicsBench 往下沉了一层,只盯实验台边上最日常的读数据。一个管上层判断,一个管底层基本功,拼起来就是 OpenAI 的生命科学自家考卷。

要小心的是,表里只有它自家七个模型,没有别家的,也没有人类科学家做对照。所以这个分数能回答“OpenAI 的模型一代比一代强多少”,回答不了“跟 Claude、Gemini 比怎么样”。

Benchling 在8月13日也发过一个基准 BenchBench-Protocol,测的是模型会不会改实验方案。按它的说法,Opus 5 拿了 59.2%,GPT 5.6 是 47.1%,Kimi K3 是 45.7%。那边考改方案,这边考读数据,题型和评分方式都不一样,59.2 和 66.7 放在一块比,没有意义。

对做 Agent 的开发者,我觉得值得抄作业的是思路,不是分数:拿带瑕疵的原始证据出题,对“数据撑不住就该说撑不住”这种克制给分。对实验室团队,眼下它更像个能帮忙初筛读图的助手,离放手让它盯整个实验还差得远。

接下来我盯两件事:有没有第三方拿同一批任务去跑别家的模型,还有 OpenAI 下一代模型在“看对照”这类题上能不能补上。AI主线 更在意的是看错的那几类会不会变少,分数涨几点倒是次要的。