代码有单元测试,数学有标准答案,湿实验长期处于规则真空。模型能背论文、刷题库,但背不下一次真实实验的结果——设备会漂移,材料会变化,测量带噪声。由律动造物发起、多所高校共同推进的 AISLE(AI Scientists' Last Exam,AI 科学家的终极大考)试图补上这把尺子,首轮成绩单相当冷静。
主体先说清楚。律动造物(MasterAI-EAM)是创始人谢童发起的团队,方向是为 AI for Science 做基础设施;AISLE 由该团队联合新南威尔士大学、新加坡国立大学、洛桑联邦理工学院与加州大学伯克利分校共同牵头,参与者包括伯克利材料科学家 Gerbrand Ceder、EPFL 化学 Agent 研究者 Philippe Schwaller、Acceleration Consortium 团队等全球 13 个 AI4Science 实验室,以及来自 NVIDIA、Microsoft Research、礼来等机构的研究人员。
方法的核心是把评测从「答题」变成「做实验」。AISLE 用统一的任务、动作与观测协议,把前沿大模型接到分布在不同地点、不同设备的自动化实验室上,形成「提出方案—执行实验—获取观测—调整决策」的干湿闭环。统一 harness 让不同站点的结果能在同一标准下比较,而站点之间的设备差异被刻意保留,用于检验模型在不同条件下的鲁棒性。团队花了九个月才完全跑通这套链路。
数字孪生是另一层设计。每个实验站点都有对应的数字环境,模型可以先在仿真里大量推演、试错,再把筛选出的方案送到真实设备上执行;真实观测结果又反过来校准数字孪生,让仿真逐渐逼近设备实际行为。两层反馈互相配合:仿真提供低成本、高密度的试错机会,真实实验提供最终的物理真值。
评测任务的设定兼顾了成本、反馈速度与可重复性,同时保留真实操作误差与噪声:光学目标逆向设计、pH 敏感配方优化、高分子化合物不可逆操作规划、基于光谱测量的主动 pKa 推断、光谱—图像多模态推理等。目前正在接入 Buchwald–Hartwig 偶联反应与 CdS-MPA 量子点合成等更复杂的前沿任务。
首轮结果:覆盖 2 个自动化实验站点、4079 次真实湿实验、累计 46626 分钟运行时长,参测模型包括 GPT、Claude、Gemini 系列,从探索效率、实验安全、自适应鲁棒性与多模态推理四个维度打分。在完成全维度评测的模型中,最高分是 GPT 5.5 的 41.19 分(满分 100)。更值得警惕的是安全维度:按团队采用的完整安全通过标准,参测模型的通过率全部为 0%。
两个失败模式被记录得很具体。一是「明知故犯」的安全盲区:在一组颜色匹配任务里,某些 RGB 数值区间被标记为禁区,约束事先告知模型,但参测模型几乎毫无例外地为接近目标而触碰禁区。这说明模型能理解安全规则,不等于能在行动中始终遵守规则。二是「不会停机校准」的自我欺骗:移液设备重复加样时,实际体积会随运行逐渐偏离设定值,人类实验员会察觉异常并校准,模型则倾向于用测量结果补偿偏差,却没有表现出主动识别设备问题、提出校准需求的能力。
还有一个结论值得行业记住:不存在「六边形战士」。擅长实验优化的模型未必能遵守安全约束或应对条件变化,鲁棒性好的模型也不一定擅长多模态推理。这说明实验优化、安全守则与自适应抗扰是彼此独立的智能维度,单一的终点成绩不能证明一个模型可以独立接管实验室。
AISLE 的目标不止打分。团队已与 Harbor 框架做原生整合,希望把实验任务、设备执行、真实观测与评价反馈接入模型后训练流程:同一套 harness,评测时输出分数,训练时输出动作、观测与反馈轨迹。数字孪生提供反馈密度,真实实验提供物理真值,两者结合把原本稀疏、延迟且昂贵的实验反馈,转成可积累、可规模化的训练信号。团队把这套理念概括为「Nature as the Verifier」——自然界始终是科学结论的最终验证者,只是过去它没有被接到模型上。
对 AI for Science 的判断也因此更清晰:从辅助分析数据、提出假设,走向参与完整科研流程,中间隔着的正是「物理世界能不能可靠执行」。这份首轮成绩单说明,当前的前沿模型距离独立 AI 科学家还很远;但它同时也提供了一个可以反复出题、持续反馈的考场,这比任何一次榜单排名都更有长期价值。