一个编程智能体调用接口时报错,折腾几轮把问题修好了。下一个任务,它还会不会犯同样的错?这次修复能不能沉淀成一条规则、一段记忆或一项技能?这类问题有个正式名字:智能体递归自我改进,英文缩写 RSI。
中国科学院自动化研究所与美团联合山东大学、中国人民大学、中科院微电子所、上海交通大学、理想汽车、华中科技大学、南洋理工大学等单位,发布了一篇综述,题为《When, Where, and How Experience Becomes Structure: Mechanisms for Recursive Self-Improvement in LLM Agents》。第一作者是中科院自动化所复杂系统认知与决策重点实验室博士生戴思齐,共同第一作者兼项目负责人为美团高级算法工程师阮景晴,通讯作者为该实验室助理研究员张斌。
综述的第一个关键判断是:模型权重不变,智能体也能变强。任务执行会留下工具调用记录、执行结果、用户纠正和失败后的修复过程,这些信息可以用来修改智能体自身的组成部分——把反复验证有效的约束写进 Prompt,把用户更新的信息存入 Memory,把成功的操作流程整理成 Skill,或者根据重复出现的失败去调整 Harness 里的工具接口与检查逻辑。
由此形成四条进化主线。Prompt 优化经历了三次重心转移:从「能不能自动找到一条比人写得更好的指令」,到「用失败案例的具体反馈来修订指令」,再到「不只优化任务指令,而是优化负责生成指令的那个优化器」。Memory 进化解决的是另一类问题:信息越积越多,哪些该留、哪些过期、哪些互相矛盾;最新工作开始按后续任务的实际反馈动态调整记忆的效用估计,而不只看语义相似度。
Skill 进化从「复用一次成功」走向「维护一套可用能力」。技能会缺步骤、会失效、会重复冲突;一次失败可能来自选错技能、技能本身不全,或执行时跳过步骤,三者需要分别诊断。部分研究开始训练独立的技能管理者,专门决定何时增加、修订或淘汰技能,也有工作用移除实验来判断某项技能是否还在起作用。
Harness 进化是最新也最容易被忽略的一条。Harness 指组织模型、工具、上下文、执行状态与检查机制的运行框架,决定信息如何进入模型、工具如何被调用、出错后怎么继续。过去它由工程师手工调优,现在开始成为经验驱动的修改对象——如果智能体改完代码常跳过测试,系统就在框架里强制「补丁对应测试全部通过才允许报告完成」。这不是改指令,而是改运行规则。
框架层面,综述提出三个问题:When,什么时候更新、什么时候保持;Where,问题出在哪个组件;How,怎么从经验里提炼修改并验证保留。与之配套的是七步生命周期:收集、评估、诊断、提炼、更新、验证、整合保留。其中「评估」理解已发生的事,「验证」判断候选修改是否有效、有没有造成回归。综述选取 40 项代表性研究绘制全景,并对 20 项研究的更新闭环做对照分析。
研究者也点出了三个难点。跨组件归因:一次失败可能同时涉及过期记忆、缺失步骤与不完善的参数检查,系统要判断各组件的作用并协调更新。长期维护:今天有效的规则可能因接口升级失效,曾经有用的技能可能变得重复,需要合并、修订、退役与回滚,并付出维护成本。独立验证:任务得分提高只能说明某次更新在当前设置下有用,要证明「继承的经验让后续改进更有效」,必须在相同起点、任务、反馈与计算预算下做对照,并用未参与候选筛选的任务检验。
这份综述的价值不在于提出新算法,而在于给一个正在变成产品的能力提供共同语言。此前已有厂商把 RSI 写进产品叙事——让智能体给自己写插件、按反馈改自己;但工程团队真正缺的是「什么时候该改、改完怎么证明没变差」这套判断标准。把 RSI 从口号拆成可比较的更新闭环,是把它变成可交付工程的第一步。
对使用者而言,一个更实际的启示是:与其期待模型下一次升级带来跃迁,不如先把经验沉淀的结构设计好。同一套权重,Prompt、记忆、技能与运行框架的组织方式不同,长期表现会拉开明显差距。而在所有环节里,验证最贵也最容易被跳过——这恰恰是从「看起来在变好」到「确实变好了」之间唯一的桥。