当 AI 智能体承担了大部分写代码的工作,代码审查的另一半——性能回归的排查——就成了新的瓶颈。OpenAI 给出的答案是让智能体自己查。公司公开了内部系统 Performance Factory:一个由 Codex 驱动的自动化体系,专门调查并缓解性能回退。
先看结果。据 OpenAI 性能团队提供给外部的工程报告,这套系统在三个月多一点的时间里追踪了 1700 多次调查,定位了 600 多个根因,平均每天完成约 17 次自动化调查。600 多个根因中,约 400 个推进到提出了修复方案;约 50 个最终上线的修复受到智能体建议的影响或与其一致,其中约 15 个是 Codex 直接提交并被合并的 PR。
这套系统的演化路径很有参考价值。最初,性能团队靠人工排查:服务变慢时,工程师翻日志、看链路追踪、比对代码变更、在线上系统调试,为此积累了 30 多个专用工具。Codex 接入后,工程师可以用自然语言让它去查,但仍要人来掌舵。为了减少这种依赖,团队把排查流程固化成一个可复用的 Codex 技能 perf-forensics,让智能体能复现团队的调查方法。
再往后,工程师变成了监控系统与 Codex 之间的搬运工:把告警贴进 Codex,再把结论贴回聊天工具。这个环节显然可以被自动化,于是告警被直接接到云端的 Codex 会话上。但调查结束时给出的仍是一份需要人评审、人实施的诊断,而 ChatGPT 的性能团队几乎每天都要面对回归,靠人跟踪很快跟不上。
于是有了任务化的架构。每个被跟踪的回归变成一项任务,由 Codex 自动推进到不同阶段:定位根因、提出修复、验证恢复。系统由四个部分组成:任务服务存储任务与进度,工程师用配置文件与 Markdown 提示词定义工作流;调度循环定期检查任务,在可推进时启动 Codex 会话并分派;一套内部 API 让 Codex 在云端运行,环境可访问代码仓库与可观测性基础设施,权限受控;订阅机制把任务与外部事件连起来,例如智能体提交 PR 后需要工程师在代码托管平台上评审,任务可在此暂停。
真正值得借鉴的是「对抗性审查」。团队发现,智能体有时会停在第一个看似合理的解释上,即使证据并不充分。为此他们引入一个独立的 Codex 会话来挑战原诊断:审查者拿到完整任务记录,但从全新上下文开始,指令明确要求它寻找诊断中的漏洞、核验支撑证据、测试替代解释。
报告中给了一个具体例子:一次调查中,智能体把失败的对话归因于图片下载出错;审查者注意到负责定位文件的内部服务已经恢复,而图片请求仍在失败,于是驳回了原诊断、重开调查——原来的解释无法说明持续失败。目前,对抗性审查会退回约 25% 的诊断结论。
任务记录的设计同样讲究。每个任务独立保存状态与发现,让不同智能体在不同阶段接手同一问题;记录里有自由文本字段供智能体留笔记,也有结构化元数据,如回归开始时间、根因定位时间。智能体不把大量性能剖析数据塞进任务,而是记录关键指标、查询语句与高层结论,下一个智能体可重跑这些查询来验证。
局限也被坦诚写出。团队承认结果离「自动修复」的目标还有距离:很多回归的处理工作其实是发现、定位、跟踪与验证,这些被自动化了大半,但提出可靠修复仍是难点。Codex 表现最好的是原因清晰、修复范围收敛的问题,例如某次改动导致同一段对话在单次请求里被重复序列化多次,它能识别冗余并提出只序列化一次、复用结果。
复杂改动依旧是坎。新功能引入延迟、需要架构调整时,智能体常提出过于复杂的修复,甚至引入新问题——比如加缓存改善了响应时间却带来脏数据。为此,团队也给修复方案加了对抗性审查。
对企业的启示有三条。第一,避免「AI 疲劳」:凡是需要人评审智能体产出的地方,都要把最关键的信息推到人眼前,而不是给一个塞满结果的界面。第二,保留证据但别撑爆上下文:存高层发现加可重跑查询,比搬运原始遥测数据更可持续。第三,监控智能体本身:OpenAI 跑了一个每日检查的智能体,扫描近期日志里的工具故障与权限问题,一旦发现反复阻塞调查的问题,就创建任务并提修复建议。
这套系统的意义超出性能工程。它展示了一种把智能体从「单任务执行者」变成「多阶段工作流协调者」的范式:人保留判断与合并的权力,智能体承担调查、复现与提案的重复劳动。对任何一家软件公司,这个结构的迁移成本主要不在模型,而在可观测性基础设施是否足够规整。