推理优化的新闻不太起眼，但它决定了每一次对话的手感。是石科技近日发布名为TokenFleet的集群调度框架，公开数据显示，首Token延迟较此前降低32.4%，同时提升国产推理集群的整体吞吐表现。
先解释这个指标为什么重要。用户发出问题后，等待的时间其实分成两段：第一段是到屏幕上跳出第一个字为止，技术上叫首Token延迟；第二段是后续内容持续吐出的过程。前者决定"感觉快不快"，后者决定"总体多久完成"。在日常对话里，人的耐心主要消耗在第一段等待上——这也是为什么各家在宣传里越来越强调它，而不是只报端到端总耗时。
调度框架位于模型与应用之间，干的是脏活。它的主要工作包括：在多卡、多机之间如何切分批次以填满算力；长短请求混合时如何避免一个超长请求堵住后面一排短请求；显存不足时哪些中间结果可以换出到内存；以及如何做抢占与重排，让高优先级任务不必排在队尾。这些决策叠加起来，才变成用户眼里的"秒回"。
把视角拉到国产算力上，这一层的重要性还要再高一档。国产加速卡的软件栈成熟度、算子覆盖度和通信库效率与主流生态仍有差距，同样的模型跑在不同的卡上，实际吞吐可能差出可观的一截。调度框架没法改变硬件本身，但可以通过更合理的排布把有效利用率往上提——这是硬件受限环境下最实在的做法，比单纯等待下一代芯片更可行。
它与近期两条产业动向直接相关。一条是模型售价：过去几个月，头部厂商把推理价格压得很低，DeepSeek在10月20日又宣布开源内部推理框架DeepInfer，把生产栈的调度思路一并公开。这意味着 pricing 参照系被摊平，谁的单位成本低谁就敢降价。另一条是集群适配：国产卡要在真实业务里跑起来，光有硬件不够，还要有能榨出性能的调度能力。
需要保持清醒的是，单一企业公布的提升比例，通常是在特定硬件配置、特定负载分布下测得。换一套集群、换一种请求模式，结果会有明显差异——这在推理优化领域几乎是常识。因此更值得关注的其实不是那个百分比本身，而是它在什么条件下测得、能否复现。
这类第三方 infra 厂商的生存空间在哪里？模型厂商自己会做最优适配，云厂商也会针对自家硬件做深度优化；留在中间的，是那些既非顶级实验室、又要跑国产算力的中大型客户。他们没有能力养一支几十人的推理优化团队，却要在一夜之间把业务跑起来。这个缝隙，就是这批公司存在的理由。
一句话收尾：模型和算力决定上限，调度决定你能不能真的摸到那个上限。