
![]()
![]()
![]()
![]()
今天,我们正式发布 Kimi K3 —— 我们能力最强的模型。Kimi K3 是一个 2.8 万亿参数 的模型,基于我们的 Kimi Delta Attention(KDA) 和 Attention Residuals(AttnRes) 架构构建,具备原生视觉能力和 100 万 token 上下文窗口。它是全球首个开源的 3 万亿级模型,专为长程编程、知识工作和推理等前沿智能场景设计。
尽管其整体性能仍略逊于最强大的闭源模型 Claude Fable 5 和 GPT 5.6 Sol,但 Kimi K3 在我们的评测套件中展现出前沿级性能,持续超越其他所有受测模型。
Kimi K3 现已上线 Kimi.com、Kimi Work、Kimi Code 和 Kimi API。发布时,Kimi K3 默认使用最大思考强度(max thinking effort),低强度和高强度模式将在后续更新中推出。我们正与推理合作伙伴和开源维护者紧密合作,对齐技术细节,确保在生态系统中可靠部署。完整模型权重将于 2026 年 7 月 27 日前发布。关于架构、训练和评估的更多细节将与 Kimi K3 技术报告同步发布。
Kimi K3 是首个达到 2.8 万亿参数的开源模型。这标志着 Kimi 在扩展前沿持续推进的最新一步:在过去 12 个月中,有 9 个月 Kimi 模型都保持着开源模型参数规模的上限。
Open frontier model size over time
Total parameters of each company's flagship model, Jul 2025 - Jul 2026
solid = released as of Jul 16, 2026 · dotted = frontier held, no new release since · right label = company · latest size
![]()
Kimi K3 基于 Kimi Delta Attention(KDA) 和 Attention Residuals(AttnRes) 构建,这两项架构更新旨在改进信息在序列长度和模型深度之间的流动方式。我们还大幅扩展了 Mixture of Experts(MoE) 的稀疏性,在 Stable LatentMoE 框架下,每次实际激活 896 个专家中的 16 个。结合精心优化的训练和数据配方,这些结构性改进相比 Kimi K2 带来了约 2.5 倍的整体扩展效率提升,使模型能更有效地将算力转化为智能。
![]()
(配图:Kimi K3 架构图,展示 Stable LatentMoE 和 KDA 模块(左)、AttnRes 操作 α(右上)以及 Block Attention Residuals 骨干网络(右))
Kimi K3 具有强大的长程编程能力。在极少人工监督的情况下,它可以持续进行长时间的工程会话、导航大型代码仓库,并编排终端工具。
Kimi K3 在将软件工程与视觉推理相结合的任务中也表现出色——它利用截图和视觉信息来优化游戏开发、前端和 CAD 等场景。
以下案例展示了 Kimi K3 的编程能力如何转化为开放式软件创作和科学研究。
我们测试了各模型优化 GPU 内核的能力。每个模型在相同的沙箱环境中独立工作,最多有 24 小时来分析和重写、并 benchmark 四项任务,涵盖 AttnRes、KDA 以及 512 头维度的 MLA 内核,分别在 NVIDIA H200 和另一家厂商的 GPGPU 上运行。Kimi K3 的表现与 Fable 5(含 fallback)相当,并大幅超越 Opus 4.8、GPT 5.6 Sol 和 GPT 5.5。
![]()
![]()
![]()
![]()
KDA 内核优化(GPGPU)
与其他测试环境相同的规则,应用于 FLA Triton 实现的 KDA,但这次使用的是来自其他厂商的 GPGPU。由于软件栈和内存行为差异较大,CUDA 的调优经验无法直接应用,因此需要根据性能分析数据重建性能模型。K3 将正向和反向运算时间缩短了 73.6%(与基准相比),而且可能还有提升空间。
Claude Fable 5 由第三方评估,其结果可能包含 fallback 行为。对大多数模型而言,部分轨迹包含在数值容差范围内的小幅、可接受的精度捷径。GPGPU 指用于图形渲染之外通用计算的 GPU。
在 Kimi K3 开发的后期阶段,一个早期版本的 Kimi K3 处理了团队大部分的内核优化工作。
我们进一步测试了 Kimi K3 是否能从零构建 GPU 编程系统。Kimi K3 开发了 MiniTriton,一个紧凑的类 Triton 编译器,具有自己的基于 MLIR 的 tile 级 IR 层、优化 pass 和 PTX 代码生成流水线。在支持的 roofline benchmark 中,MiniTriton 的性能与 Triton 和 torch.compile 持平或更优——在某些工作负载上甚至击败了 Triton。除了微基准测试,MiniTriton 还能维持端到端的 nanoGPT 训练并稳定收敛,损失曲线与参考实现仅有微小偏差——在真实工作负载上验证了整个流水线的完整性。这些结果表明,Kimi K3 能够构建一个连贯的端到端编译器——从 DSL 前端、IR pass 到 PTX 代码生成和运行时——而不仅仅是孤立的内核;其从零构建的 Tensor Core 路径已经能与 Triton 经过大量优化的技术栈相媲美。
Kimi K3 将强大的 3D 推理、编程和视觉能力相结合,将概念、图像和视频转化为完全可玩的交互式体验。Kimi K3 通过代码和实时截图之间的无缝迭代,实现了真正的"视觉闭环"——即时看到并优化输出。
作为早期概念验证,Kimi K3 设计了一款芯片来服务基于其自身架构构建的 nano 模型。在单次 48 小时的自主运行中,K3 使用开源 EDA 工具和 Nangate 45nm 库构建、优化并验证了该芯片。在 4 mm² 的面积内,芯片在 100 MHz 下完成时序收敛,仿真中维持超过 8,700 token/s 的解码吞吐,集成了 146 万个标准单元、0.277 MB SRAM,以及一个带融合反量化的 INT4 MAC 阵列。一个由模型构建、为模型服务的芯片,反映了 K3 的长程智能体能力。
Kimi K3 架起了科学文献与可执行代码之间的桥梁,能够自主实现、验证和分析复杂的计算研究工作流。
在一个案例中,Kimi K3 在大约两小时内完成了通常需要经验丰富的研究人员一到两周的工作。为了复现计算天体物理学中的 I–Love–Q 通用关系,它审阅并交叉验证了 20 多篇论文,实现了完整的数值流水线,评估了 300 多种状态方程,识别了已发表公式中的不一致之处,生成了 3,000 多行 Python 代码,并产出了一个用于探索结果的交互式 HTML 仪表盘。
Kimi K3 推进了端到端知识工作。除了公开基准测试外,Kimi K3(max)在我们的内部评测中表现出持续的提升,这些评测源自真实用户-智能体工作流中反复出现的模式和挑战。这些在不同生产导向工作流中的一致优势,反映了 Kimi K3 智能体知识工作能力的广泛提升。
![]()
(配图:内部知识工作基准对比图)
- Online Exp Bench:Kimi K3 75.5 > GPT 5.5 70.6 > Claude Opus 4.8 65.9
- DECK-Bench:Kimi K3 73.5 > GPT 5.5 68.2 > Claude Opus 4.8 66.9
- Finance-Bench:Kimi K3 62.6 > Claude Opus 4.8 60.7 > GPT 5.5 58.4
以下是 Kimi K3 在 Kimi Work 中可产出的几个示例,涵盖金融咨询和科学研究:
案例 1:AI ASIC 产业 42 年交互式研究网站
一份你可以深入探索的交互式研究报告:AI ASIC 产业 42 年发展史,通过 120 多轮递归自我改进 创建。Kimi K3 将证据转化为定制图表、动画示意图和交互式视觉叙事。它通过 2,800 多次网络搜索/获取和 1,100 多次终端数据拉取获取数据,覆盖 87 份季度报告和 99 份原始 PDF 共 11,000 多页。
案例 2:核聚变产业研究
一份咨询风格的产业报告,包含交互式可视化——包括时间线、漏斗图、范围条形图、甘特图和出版级幻灯片。
案例 3:GWTC-5 引力波分析
使用 20 多个并发子代理分析 391 个引力波事件,产出 7 个科学可视化图表、2 个表格,以及来自 10 多篇论文的文献综述。
Kimi K3 在生成信息图表风格演示文稿方面也尤为出色,例如下方展示的全可编辑热力图和年报。
在 Kimi Work 中,我们推出了两项新功能——Widgets(小组件) 和 Dashboard(仪表盘)——它们让与 Kimi K3 的交互更加视觉化和持久化。小组件允许你直接在聊天中生成交互式组件,可连接本地数据或外部插件进行持续更新。仪表盘则将你最关心的小组件汇集到一个围绕主题、项目或目标组织的持久化、个性化视图中。
Kimi K3 擅长动态设计、动画和视频编辑,因为其原生多模态架构在同一模型内理解文本、图像和视频。
在一个示例中,K3 创建了一个 3Blue1Brown 风格的动态图形解说视频,解释其自身架构,将技术概念转化为动画示意图和过渡效果。
在另一个示例中,Kimi K3 从 56 个源片段编辑了自己的预告片,处理片段选择、运动匹配剪辑、帧精确节拍同步、音频处理和多轮修改。这样一个高密度的短视频通常需要经验丰富的编辑一到两个工作日,或初学者三到五天。
Kimi K3 基于 Kimi Delta Attention(KDA) 和 Attention Residuals(AttnRes) 构建。KDA 为扩展注意力机制提供了高效基础,而 AttnRes 选择性地在模型深度之间检索表征,而非均匀地累积它们。两者共同构成了一个旨在超越万亿参数规模扩展的架构骨干。
Kimi K3 使用 Stable LatentMoE,每次实际激活 896 个专家中的 16 个。在这种稀疏度下,路由和优化成为首要挑战。Quantile Balancing(分位数平衡) 直接从路由分数的分位数推导专家分配,消除了启发式更新和对敏感平衡超参数的依赖;Per-Head Muon 扩展了 Muon,通过独立优化注意力头来实现更大规模下更具适应性的学习。Sigmoid Tanh Unit(SiTU) 和 Gated MLA 分别改进了激活控制和注意力选择性。这些进步共同实现了 2.8 万亿参数规模下的稳定高效训练。
Kimi K3 从 SFT 阶段起就应用量化感知训练,使用 MXFP4 权重和 MXFP8 激活,以确保广泛的硬件兼容性。为了防止专家不平衡在大规模专家并行训练中降低吞吐,我们引入了一种完全平衡的专家并行训练方法,具有静态形状且关键路径上无主机同步。由于推理效率同样受益于更大的高带宽通信域,我们建议在 64 个或更多加速器 的超节点配置上部署 Kimi K3。最后,由于 KDA 对传统前缀缓存提出了新挑战,我们已向 vLLM 社区贡献了相应的实现,将与模型同步发布。KDA 配合预填充缓存使我们能够以极具竞争力的 token 价格服务 Kimi K3,尽管其规模和长上下文。
更多技术细节将在即将发布的报告中提供。
/model 命令选择 Kimi K3kimi-k3。定价为:缓存命中输入 $0.30/百万 token,缓存未命中输入 $3.00/百万 token,输出 $15.00/百万 token。借助 Mooncake 的分离式推理架构,官方 Kimi API 在编程工作负载中实现超过 90% 的缓存命中率(此处包含大量基准测试数据,详见原文脚注部分)
以下所有 Kimi K3 结果均在推理强度设置为 'max'、temperature = 1.0、top-p = 1.0 的条件下获得。根据基准测试的不同,每个模型在以下三种智能体框架之一中进行评估——KimiCode、Claude Code 或 Codex——具体见下方注释。
AGENTS.md 中对 K3 施加更明确的行为约束。