港科大给每张图编号：视觉原生智能体框架让 30B 模型逼近 Gemini 2.5 Pro

一道看起来简单的地理题：这张雪山照片是在哪里拍的？

智能体裁出照片里的一段山脊，用以图搜图找到"折多山"，再查阅网页，把搜到的另一张照片放大核对，最后把拍摄地点锁定在折多山垭口。整条链路里最难的是最后那次放大——在不少多模态搜索系统里，模型能"看见"刚搜回来的照片，想放大细节时，却没法把这张图交给下一个工具。图片在工具之间断了线。

香港科技大学 MMSense Lab 的工作就从这根断线开始。团队设计了视觉原生智能体框架（Visual-Native Agent Harness），核心机制朴素得有点意外：给每张图分配一个编号。

图像库：让图在工具间接力

框架把题目自带原图与工具返回的新图统一存入图像库（image bank），每张图有独立编号，解题过程中后续工具随时可以按编号取图。原文的例子很直观：原始照片、裁出的山脊、以图搜图找回的清晰照片，各有一个编号；即使中间又查过网页，要放大新照片时，模型仍能把正确的编号传给放大工具。

框架支持九类工具：检索网页、论文与图片，打开来源网页，放大或旋转图片，以及用 Python 计算。工具接上了，下一个问题才浮出来——模型得学会什么时候该继续搜，什么时候该回头看图。这属于策略问题，不是接口问题。

ODE：让出题方式也一起进化

为此团队提出数据合成方法 On-policy Data Evolution（ODE）。先厘清一个概念：模型拿到题目、搜索、调用工具、直到给出答案，这整个过程称为一次 rollout。为强化学习出题时，做 rollout 的正是即将接受训练的目标模型——题目难不难、有没有解、能不能逼出新的工具使用方式，都要看它在这批题上的实际表现。

ODE 的思路是让数据合成器根据 rollout 记录调整出题规则，再用下一轮 rollout 检验调整是否合适。出题流程分几步：先找一个能从至少两个独立来源核实的对象，再选一张有可辨认细节的图片（图例、数字、标记），沿网页搜集线索并为每条线索记下事实与出处，把相关线索组织成证据图，从图上选取一组相连的线索编成有明确答案的问题，最后删掉会泄露答案或解题步骤的提示。

每轮按当前规则出 32 道题，做 rollout 的模型参数保持不变，模型只拿到问题和原图，参考答案用于作答后核验。分析器对照整批解题记录与出题时的证据材料，诊断哪些环节需要改进，通过审核的改动写入下一轮规则，最多迭代五轮。一个具体例子说明了这套机制怎么工作：ODE 从联合国地图资料找到 1948 年 9 月的世界地图，又查到联合国最初有 11 个托管领土，编出一道题——图上标出的托管领土占最初总数的百分之几。模型漏数了几处、又把西南非洲算了进去。分析器发现问题不只是最后那个百分数算错，部分小字地名与图例缺少逐项核实的证据。于是规则被修改：涉及数量的线索要逐项用以图搜图核实，整理证据时可做的视觉操作从最多四步增至五步，带图线索目标占比从 50% 降到 40%。下一轮用在巴尔的摩港航道图上，模型反复放大、搜图却没认出码头，说明图片线索不足、题目偏难，规则又把带图比例调回 50%。

值得注意的是规则可以撤回——上一轮通过的改动，到下一轮仍能凭新的解题记录被推翻。这种可进可退的设计，比一次性调参更接近"训练数据也要跟着学生水平走"的直觉。

成绩：换框架与换数据各值多少

八项评测各有侧重，MM-BrowseComp 要求跨网页查找图文线索，SimpleVQA 偏事实问答。以 Qwen3-VL-30B 为例，同一个基座使用标准搜索流程时八项平均 24.8%，换用视觉原生智能体框架后达到 30.6%，用 ODE 数据做监督微调升到 39.5%，继续做强化学习达到 41.5%。8B 模型在 MMSearch 上的三次评测（基座、SFT、RL）依次为 47.3%、61.7%、66.0%。

框架对商业模型同样有效：Gemini 2.5 Flash 从 32.0% 升至 35.55%，Gemini 2.5 Pro 从 37.9% 升至 42.21%，GPT-5 在两种设置都报告成绩的七项评测上全部提高。而在同一框架下，ODE-30B-A3B-RL 的 41.53% 与 Gemini 2.5 Pro 的 42.21% 只差 0.68 个百分点，GPT-5 为 44.41%——一个 30B 级别的开源权重模型，靠"框架 + 数据"两件事，追到了商业旗舰一步之遥的位置。

消融实验把两份收益拆得更清楚。图像复用的作用：在 MMBC 上约四成题目用到先前搜回或裁出的图片，复用率八项最高；关闭复用（后续工具取不回任何旧图）时准确率 7.59%，可取回最近 4、8、16 张时逐级上升，保留全部达到 12.50%——说明对需要来回核查证据的题目，最新几张图不能替代较早找到的图。数据演化的作用：两组各用 2000 条 SFT 示范，沿用初始规则时只有 10.5% 的示范包含至少四张工具返回的图片，ODE 组为 42.9%；同时包含图像操作与搜索的示范从 35.3% 增至 54.8%。在强化学习对照里，同一个完成 SFT 的 8B 模型（MMBC 上 8.5%），用固定规则的题继续训练后降到 5.8%，换成 ODE 出的题则达到 12.5%。

第一作者黄仕爵是港科大 MMSense Lab 二年级博士生，研究方向为多模态智能体与强化学习；通讯作者冯一人为该系助理教授。这项工作指向的判断是：多模态搜索的瓶颈不全在模型规模，很大一部分卡在"工具之间能不能接力"和"训练题跟不跟得上模型"这两个工程问题上。给图片编号这种改动听起来微小，却把一类长期被绕开的失败模式直接消掉了。