Nvidia｜线性代数跨模型KV Cache映射：较全量重算快约25倍

多模型Agent工作流里，「中途换模型」长期意味着把整段对话KV Cache作废重算——账单与延迟双杀。Nvidia这项研究试图回答：换模型时，能不能尽量「带着上下文一起走」，而不是每次从头背课文。

Nvidia AI研究团队长期关注推理效率与大模型系统工程。所谓KV Cache，白话是大模型生成时把已算过的键值对缓存起来，避免每个新token都重算整段历史——长对话里这是延迟与算力的关键；所谓prefill，白话是先把用户输入整段喂进模型、建好缓存，再开始逐字生成回复。中途换模型若必须作废缓存，就像换了一位新秘书却要求他把整本会议记录默写一遍。

研究团队提出跨模型KV Cache线性映射：用简单岭回归等闭式解法，把源模型预填充缓存映射到目标模型格式，避免重复prefill。

论文实验可核对要点：

1. 场景：在Qwen3、Llama 3.1、Ministral等家族内迁移，四组模型对可保留约73%—98%的独立prefill精度。
2. 速度：映射耗时约为重算的约2.7—25倍加速；例如约32768 token缓存从Qwen3 14B映射到32B约278毫秒，而标准重算约7秒。
3. 方法：逐头岭回归、跨层源选择与剥离RoPE后再映射，以支持更长序列外推。
4. 局限：部分Ministral配置上线性映射外推失败，需换非线性MLP恢复精度；论文聚焦同家族、KV头维度匹配的「matched-KV」场景，跨家族迁移仍待扩展。

产业观察上，这条直接服务「小模型起手、大模型攻坚、再降回小模型聊天」的路由策略，与Snowflake、OpenRouter等网关叙事同向。对平台方，意义是把路由从「换API」升级成「换API且尽量不丢上下文」；对财务，则要算映射误差容忍度与校准集维护成本——快25倍很香，掉精度是否可接受要看任务。

可以把它想成：以前换模型像换导游必须重走全程；线性映射尝试把「已走过的路线笔记」翻译成新导游能读的版本——翻译错了，后面景点就会讲歪。

需要把边界读清楚。实验基于特定基准与五百条校准序列；生产长会话的漂移须持续监测。下一观察点是是否进入Nemo商用组件与主流推理引擎默认路径。