首份湿实验预测基准 SPU 发布：12 款前沿模型平均分最高不足 0.5

过去的基准测试大多是刷题：给题、给答案、对分数。这一次换了玩法——给 AI 一组实验条件，让它自己研究、提前猜真实湿实验的结果，答案先藏好，等模型交卷再拿实测结果对一对。比如同一个反应换几种条件，哪种能得到更多目标产物？一批抗体变体，哪个表达量更高？

UniPat AI 牵头推出的 Science Prediction Universe（SPU）想考的正是这件事。基准含 116 个任务、4207 个湿实验，覆盖化学、材料科学、生物与医学；基准顾问与湿实验合作成员来自斯坦福、康奈尔、哈佛等高校，以及多家前沿科研机构与生物技术公司。

为什么要单独立一个"预测"考场

在科研流程里，动手之前的判断是含金量最高的一步。做化学的要配试剂、设定反应条件、再分离产物；做生物的往往要经历漫长的蛋白表达。时间成本与试剂成本都不低，结果不理想还得反复几轮。科学家靠"品味"和直觉决定先试哪个方向，这种能力过去无法被统一评估。

现有基准覆盖不了这件事。BrainBench 让模型直接判断实验结果，ScienceAgentBench 侧重在已有数据上完成分析，Terminal-Bench 4.0 与 Long-Horizon-TB 这类长程任务基准则用预设测试检查任务产物。SPU 的区别在于把"自主研究过程"与"湿实验结果预测"放在一起考：既要预测得准，也要看科学工具使用与长程任务执行能力。

任务来源分两部分。100 个公开任务取自 85 篇近期发表的论文，由领域专家整理候选项、材料、条件与测量方式，保留完整定量结果作为评分依据；16 个私有任务来自四组未发表的合作湿实验，涉及 VHH 纳米抗体、反应条件、电解液与 Magrolimab 变体。两类合起来覆盖 32 个子领域。公开任务的实测结果对模型隐藏，私有任务则提供了独立于公开论文答案的检验，能在一定程度上避免模型提前见过题目。筛选标准也做了取舍：优先选测量完整、条件清楚的研究，沿着单一趋势就能排序的简单问题被直接剔除，数值过于接近、参考意义不大的问题同样不要。

一场八小时的闭卷考试

具体怎么跑？模型每次运行 8 小时，配 8 核 CPU、16GiB 内存与一块 H20，允许联网检索并安装科研软件。它要在这段时间里自行搜集证据、选择计算方法，最后提交各比较组"从低到高"的预测排序。评分过程全程在独立、断网的容器中进行，禁止检索原始研究结果，并会自动扫描工具输出、识别源论文 DOI 与标题等标识符。最后用 Spearman 相关系数对照预测与实测排序，系数越接近 1，说明排序越贴近实验结果。

SPU 还处理了一个常被忽略的问题：得分会不会是运气好？为此系统为每道题额外生成 4000 份随机排序，取第 95 百分位作为随机水平阈值，检查模型提交是否明显超过这一参照。也就是说，一个"看起来还行"的分数，如果没越过阈值，本质上和瞎猜没有区别。

首轮成绩单：都不太好看

首轮系统评测覆盖 12 款前沿模型、13 种配置（配置指模型、推理强度与所用框架的组合）。在全部已评分任务上，平均分最高的是 Claude Opus 5.5，0.486 分，且其任务中只有一半超过了随机水平；13 个配置里，能超过随机阈值的任务比例仅有 34% 至 52%。

模型之间仍有分层。按表现可分为领先组（6 个）与落后组（7 个），同题比较下领先组平均高出约 0.15 分；领先组约 9% 的任务得分为负，其余配置这一比例高达 22%——负分意味着预测与实际排序呈负相关，也就是"猜反了"。研究团队进一步把同题中其他模型的预测合成一份参考排序，再把实验两两配对检查：在参考排序正确的实验对上，领先组能排对 86%，其余配置为 78%；而在参考排序错误的实验对上，两组独立排对的比例都在 30% 左右。换句话说，领先组的优势主要体现在"大家一起判断正确的地方更稳"，而不是独有一套更准的物理直觉。

以溶液任务为例，同一个聚合反应依次更换 12 种溶剂，要求按最后分离得到的聚合物质量排序。Opus 5.5 得分 0.874，Qwen3.8 为 -0.126。12 个候选条件两两配对共 66 对，一正一负之间的差距，恰好说明湿实验预测对"机制理解"的依赖有多深——它需要模型从已有知识里挖出相关机制，而不是靠表面模式匹配。

这套基准的意义，不在于证明哪个模型更强，而在于把过去看不见摸不着的科研判断力变成了可以统一评估、持续研究的数值。对 AI for Science 这条线来说，一个残酷但有用的结论已经摆在台面上：在真正能帮研究人员筛掉无效方向之前，前沿模型还有很长的路。哪些环节拉开差距——是证据检索、机制推理，还是长程任务的执行稳定性——接下来会变成比总分更值得追的问题。