「我们终于有了大上下文窗口的模型,那就把所有客服文档塞进去,它就成专家了,对吧?它什么都知道。」T-Mobile 首席信息官 Jeff Simon 在回顾这段尝试时用的词是:「完全没用。」
这是他在一次智能体基础设施峰会上讲的故事。T-Mobile 从 2024 年就开始做客服智能体,覆盖聊天、短信与语音渠道。当模型上下文窗口变大之后,团队的第一反应是把公司体量的客服文档全部装进去。
失败的原因不是模型不够强,而是文档本身互相冲突。Simon 的解释是:像 T-Mobile 这种规模的公司,客服文档里必然存在彼此矛盾的指引;而客户的表述也可能对应多个流程——比如客户说「要个新设备」,可能是指在现有号码上换手机,也可能是要新增一条线路。
「当你把上下文窗口塞得特别大,AI 就被迫在路径和文档之间做选择,它可能开始从错误的那条里回答。」Simon 说。
第二次尝试是知识图谱。结果同样不理想。「知识图谱没能work,主要是因为智能体得在这个大图里搜索,很花时间,而我们没有那么多时间。」速度之外还有第二个问题:客户问同一件事有无数种说法,智能体一旦误解,就会在图上走错路,即使团队做了引导也会迷路。
最终方案朴素得多:把知识图谱换成键值数据库里的一张简单查找表。这张表把客户常见的问法映射到智能体下一步该走的位置,团队随着新出现的问法持续更新;随后一个编排智能体确认客户想要哪条路径,只把请求发给持有该路径上下文的那个智能体。Simon 的说法是,这张表是给智能体用的,不是给人用的——「很基础,但快、响应好、扩展性强,目前智能体的表现不错。」
这里有一个容易被忽略的学习点。Simon 说,在请求到达模型之前,公司会先剔除可能不相关的内容,这是他们最重要的经验之一。也就是说,真正的工程重心不在「喂多少」,而在「筛掉什么」。
T-Mobile 还做了一件值得借鉴的事:在生产模型之外,每一通聊天与语音会话都并行跑一个小语言模型,充当 LLM 裁判,标记出答案出错或客户正在生气的会话,交给人工复核。原因很实际——会话量太大,人不可能全看,甚至连大比例抽样都做不到。代价是每次交互多一份推理成本,但团队认为值得,因为无法预判客户会用多奇怪的方式提问。
这个裁判还抓出了一个没人想到的问题。它发现很多通话里在播放等待音乐,而 T-Mobile 根本不播放等待音乐。工程师花了两周排查呼叫系统与交互式语音应答系统,最后在面向客户的模型里找到了原因:模型在暂停去查资料或调用工具时,自己生成了等待音乐。Simon 的原话是:「完全是编造的。」现在的做法是在提示词里明确告诉模型不要幻觉出等待音乐。
行业数据说明了这件事的普遍性。第三方 10 月的调查覆盖 97 家已有智能体处理企业数据的机构,其中 78% 表示过去半年至少有一次「自信但错误」的回答可追溯到业务上下文缺失或不一致,即上下文失效。在报告了失效的 76 家中,58% 的最大一次失效被内部发现、没有外部影响;21% 表示客户、伙伴或供应商收到了错误信息;12% 表示错误数字进入了财务、监管或董事会报告;9% 表示某个决策或行动被迫回滚。
调查还问了「业务上下文的主要来源」:检索文档或向量索引占 32%,直连实时系统占 25%,受治理的语义层或本体占 16%,因场景而异占 14%,而「直接把大输入加载进上下文窗口」只有 10%,完全没有企业上下文层的仅 2%。
对照案例也很有说服力。Adobe 工程高级副总裁 Anjul Bhambhri 描述其营销智能体 CX Enterprise Coworker 追求的是「精准上下文」:给欧洲的邮件营销人员,只需要邮件要求、欧盟同意政策与公司自身的联系人规则;「如果把欧盟和美国的同意政策都喂进去,出错概率就上来了。」而做节日营销的细化时,又需要多年历史数据。Adobe 的做法是在模型看到提示词之前就收窄上下文:先放公司级的种子上下文,再用关键词、语义索引与知识图谱做预取,最后由合并排序决定怎么填满窗口。
Uber 的经验正好相反:其智能体借助 AI 上下文图,38 秒找到了一个数据表;同一个模型不用图谱,花 20 多分钟还错误地得出「这个数据查不了」的结论。差别在于 Uber 的智能体是在工程场景里异步查图,而 T-Mobile 的智能体要在实时客户对话中导航图谱。
把这些放在一起,结论相当清楚:上下文工程的胜负不在窗口大小,而在「谁来决定模型读到什么」。T-Mobile 的答案是让一张人工维护的查找表来定,因为它快、可控、出错可定位;Adobe 的答案是让一套预取与排序管线来定;Uber 的答案是让图谱来定。三种选择各自成立的前提不同,共同点是都不让模型自己去一大坨材料里挑。
对正在做企业智能体的团队,这篇案例提供了四个可以直接照做的问题:哪些文档在上下文里是互相冲突的?如果智能体答错了文档,团队会发现吗?谁拥有那张决定模型读什么的表、索引或图谱?客户能等一次检索多久?这四个问题答不上来,再大的窗口也救不了。