让AI在交互式环境里「长眼睛」,可能比继续堆模型参数更有效。近日,深度残差网络ResNet一作、麻省理工学院副教授何恺明团队发布论文《VISTA: A Visual Harness for Reasoning in an Interactive World》,提出一套面向通用多模态模型的视觉原生Harness(外挂式推理框架),在不改动模型本身、不做任何额外训练的前提下,让现有多模态模型在ARC-AGI-3基准的25款公开游戏上全部通关,并拿下满分级的行动效率。
先交代背景。ARC-AGI系列是衡量AI抽象推理能力的标志性基准,其第三代的交互式版本ARC-AGI-3要求模型在未知环境中操作游戏、探索规则、达成目标,被普遍视为对Agent长程推理能力的严苛考验。此前主流做法是把环境信息抽象成文字描述喂给模型,或者对模型做专项微调。
VISTA的反常识之处在于:它让模型直接观察渲染后的画面。框架包含三个组件——视觉观察、无损视觉记忆与视觉检查:环境返回的每一帧画面(包括动作产生的中间动画帧)都以原始形式无损保存,模型可以在推理时随时调取任意历史帧,也可以放大其中任意区域检查细节。这解决了一个长期被回避的问题:我们让模型在视觉环境里做决策,却一直没给它「回头看」的能力,一旦关键信息滑出当前帧,模型只能靠记忆硬猜。
成绩单相当可观。在ARC-AGI-3的25款公开游戏上,VISTA将Claude Opus 5.0的相对人类行动效率(RHAE,衡量AI行动效率相对人类参照的指标)从40.68提升至满分100.00,全部通关;整个过程执行7302步,比人类参照组少57.4%。配合GPT-5.6 Sol时取得99.00。也就是说,同一个模型,装上这套视觉外挂后,从「表现平平」直接跃迁到「效率满分」。
这项工作的产业含义超出了游戏基准本身。对机器人、自动驾驶等需要长程视觉交互的领域,VISTA提示了一条低成本路线:与其昂贵地重训模型,不如先把「看什么、记什么、何时回看」的Harness设计做好。何恺明从ResNet到VISTA的轨迹,也再次印证了基础视觉研究的复利效应。