AI指南首页AI工具AI资讯提示词教程库前端代码大模型SkillsGitHub具身智能
AI指南首页AI工具AI资讯提示词教程库前端代码大模型SkillsGitHub具身智能
  1. AI指南首页
  2. /
  3. 标签聚合
  4. /
  5. 推理优化

标签:推理优化

共汇总 4 条相关内容,覆盖 1 个栏目

📄是石科技发布TokenFleet调度框架,首Token延迟降低逾三成是石科技发布TokenFleet集群调度框架,公开数据显示首Token延迟较此前降低32.4%,并提升国产推理集群整体吞吐。首Token延迟是用户最先感知的交互指标,该框架位于模型…AI资讯2026-10-22📄浪潮信息|元脑SD200 Ultra以超级算子适配Kimi K3推理浪潮信息发布元脑SD200 Ultra超节点,紧耦合本土AI芯片单机承载约2.8万亿参数Kimi K3,并通过超级算子与智能体优化降低算子碎片化;同期海外Inferact开源tpu…AI资讯2026-10-02📄Nvidia|线性代数跨模型KV Cache映射:较全量重算快约25倍Nvidia研究团队提出跨模型KV Cache线性映射:用岭回归等闭式解法把源模型预填充缓存映射到目标模型格式,避免重复prefill。论文实验显示同家族内四组模型对可保留约73%…AI资讯2026-08-21📄Kog|押注软件层榨取标准GPU推理吞吐法国创业公司Kog主张用更深GPU软件优化提升企业已有MI300X/H200等卡的单请求推理速度;技术预览曾演示约3000 tokens/秒(约20亿参数Laneformer 2B…AI资讯2026-08-15

关于 PromptTree|品牌哲学|用户协议|隐私政策|意见反馈|网站地图

Copyright ©2026 郑州宇蕤科技有限责任公司 | PromptTree AI指南 豫ICP备2026016257号-1| 豫公网安备41019702004654号

未经允许,禁止转载、抄袭、镜像

用心做站,做不一样的站