AI指南首页
AI工具
AI资讯
提示词
教程库
前端代码
大模型
Skills
GitHub
具身智能
AI指南首页
AI工具
AI资讯
提示词
教程库
前端代码
大模型
Skills
GitHub
具身智能
AI指南首页
/
标签聚合
/
推理优化
标签:
推理优化
共汇总 4 条相关内容,覆盖 1 个栏目
全部
4
AI资讯
4
📄
是石科技发布TokenFleet调度框架,首Token延迟降低逾三成
是石科技发布TokenFleet集群调度框架,公开数据显示首Token延迟较此前降低32.4%,并提升国产推理集群整体吞吐。首Token延迟是用户最先感知的交互指标,该框架位于模型…
AI资讯
2026-10-22
📄
浪潮信息|元脑SD200 Ultra以超级算子适配Kimi K3推理
浪潮信息发布元脑SD200 Ultra超节点,紧耦合本土AI芯片单机承载约2.8万亿参数Kimi K3,并通过超级算子与智能体优化降低算子碎片化;同期海外Inferact开源tpu…
AI资讯
2026-10-02
📄
Nvidia|线性代数跨模型KV Cache映射:较全量重算快约25倍
Nvidia研究团队提出跨模型KV Cache线性映射:用岭回归等闭式解法把源模型预填充缓存映射到目标模型格式,避免重复prefill。论文实验显示同家族内四组模型对可保留约73%…
AI资讯
2026-08-21
📄
Kog|押注软件层榨取标准GPU推理吞吐
法国创业公司Kog主张用更深GPU软件优化提升企业已有MI300X/H200等卡的单请求推理速度;技术预览曾演示约3000 tokens/秒(约20亿参数Laneformer 2B…
AI资讯
2026-08-15