↑

Uber 砍 AI 编程预算:上下文压到 40 万 token,单次会话成本降过半

PromptTree|阅读 0
2026/11/20 07:37
UberClaude Code推理成本上下文工程
Uber 砍 AI 编程预算:上下文压到 40 万 token,单次会话成本降过半
Uber 披露其对 AI 编程工具的默认设置:Claude Code 交互式会话在 40 万 token 触发自动压缩,推理强度默认中等,启动时不预载 MCP 工具定义,改为通过命令行按需调用网关。Uber 称这些默认值由公司统一配置并做 A/B 测试;在固定模型的前提下,每千次请求成本较峰值降近 34%,单次会话成本较 6 月峰值降 52%。公司还把内部上下文图谱扩到近 2 亿节点与边。

AI 编程工具的成本,最先在 Uber 这里撞了墙。公司 CTO 此前承认,2026 年的 AI 预算在年初几个月就用完了。此后 Uber 做了一件多数公司还没做的事:不再让每个工程师自己决定怎么用,而是由公司统一设定默认值,并像做产品实验一样对这些默认值做 A/B 测试。

具体是四个默认设置。第一,当工程师打开 Claude Code 的交互式会话时,40 万 token 触发自动压缩——即便所用模型支持百万级上下文。原因很直接:智能体每次请求都会把整个上下文发回模型,上下文越大,每一步越贵;超过 70 万到 80 万 token 后,缓存未命中与逐请求输入 token 的开销会显著上升。40 万被 Uber 称为「不错的平衡点」。

第二,推理强度默认中等而非最高。推理强度控制模型在回答前思考多久,想得越久消耗的 token 越多。Uber 的观察是,近几个月发布的模型在中等强度下表现更好,而在高强度下反而出现一定退化。这个判断没有点名具体模型与任务,但它反驳了一个流行假设——「把思考拉满总不会错」。

第三,提示缓存对主智能体保留一小时,对子智能体保留五分钟。缓存文本复用比重新处理便宜,但存活期更长的缓存写入成本更高。工程师离开主智能体(编排者)的时间常超过五分钟,五分钟缓存会过期,下一次请求要按全价重载;子智能体任务完成得快,五分钟够用。Uber 会测量请求命中缓存的比率,并据此调整时长。

第四,启动时不加载 MCP 工具定义。Uber 仍在运行 MCP 服务器,但智能体通过连接到中央 MCP 网关的命令行工具按需访问。直接的 MCP 集成会把已连接工具的描述预加载进上下文——工具超过 100 个时,这些描述在工程师敲第一个字之前就占掉 5 万到 7 万 token。

效果层面,Uber 没有给出单项设置的节省比例,只公布了合并优化的结果:在固定模型的前提下,每千次请求成本较峰值下降近 34%,单次会话成本较 6 月峰值下降 52%。唯一给出的单项数字是模型选择——通过基准测试挑选合适模型,让清理陈旧功能开关的单次成本下降了 90%。

比省钱更有意思的是他们对上下文的理解。Uber 没有把公司所有文档塞进上下文,而是给智能体一张「公司地图」:上下文图谱记录生产服务、负责人、数据集、历史查询与其他内部系统,智能体先拿到图谱的结构,再自行遍历、按需检索文档与源码。到 10 月 28 日,这张图谱已接近 2 亿个节点与边,而 8 月的公开口径是 2400 万节点加 8000 万条边。

一个具体对照说明了差别:同一个模型、同一个提示,有图谱时它用 38 秒正确定位到一张数据表;没有图谱时,它花了 20 分 9 秒,还错误地得出「这张表查不了」的结论。这个例子的价值在于,它把「上下文工程」从概念变成了可测量的时间差。

同一场活动上,T-Mobile 的经验从反方向印证了同一件事。其 CIO 说,他们曾把大量客服文档一次性灌进智能体,结果「完全不管用」——智能体在庞杂材料里迷失。现在他们把上下文压到尽可能窄,把问题路由给专门化的智能体。

两家的分歧点在于场景:Uber 的智能体面对的是内部工程与数据系统,可以慢慢遍历图谱;T-Mobile 的智能体要在通话中实时回答客户,没有时间在图里游走。同一个技术问题,答案取决于延迟预算。

Uber 也在把工作从交互式会话推向「托管智能体」,即为特定任务选择特定模型的自动化流程。理由是其工程师直言:交互式会话是运行智能体最低效的方式。这句话对整个行业的工具设计是个提醒——当前主流形态是「人机对话式编程」,而成本结构决定了它难以成为规模化的默认形态。

需要冷静的是,这类成本优化的收益有上限。省下的是 token,不是决策。Uber 衡量成效的指标最终还是吞吐与质量:设计文档数、PR 数、部署次数,以及每次代码变更对应的事故率、回滚率、评审与周期时间。这套指标能否持续改善,比成本下降 52% 更能说明 AI 编程是否真的提高了生产力。