↑

DeepSeek宣布全面开源内部推理框架DeepInfer

PromptTree|阅读 0
2026/10/21 11:13
DeepSeekDeepInferV4.1 Flash推理框架
DeepSeek于10月20日宣布将内部推理框架DeepInfer全面开源,并同步开源Token编解码组件。公司表示基于DeepInfer已实现V4.1 Flash的高吞吐、低延迟大规模推理服务,未来新模型的推理代码及后续优化也将在此持续更新,目标是降低算力成本与能耗。

10月20日下午,DeepSeek在官方账号发文,决定将内部推理框架DeepInfer全面开源,并同步放出Token编解码组件。官方的原话是:希望通过分享内部的部署经验,帮助开发者与企业组织优化大规模推理的吞吐与延迟,从而高效构建私有化及公有云部署,降低算力成本、减少能源消耗,让智能以更低的价格触达更广泛的人群,实现真正的大模型普惠。

先看这次开源的层级。大模型的能力边界由模型权重划定,但"能不能用得起"取决于另一件事:如何以合理成本提供超大规模模型服务。这中间隔着一个推理框架层——它统筹调度庞大的算力集群,负责请求排队、批次切分、显存管理、多卡通信,其效率直接决定AI服务的算力成本与电力消耗。这一层过去各家都自持不外传,是真正的生产秘密。

DeepSeek明确表示,基于DeepInfer已经支撑起了V4.1 Flash的高吞吐、低延迟大规模推理服务。也就是说,这次开源的不是实验室里的演示代码,而是正在线上跑的生产栈。这一点决定了它的含金量:生产环境的调度逻辑必须处理长尾延迟、故障恢复、显存碎片这些脏活,这些东西在论文里找不到,只有在真实流量里才会暴露。

把时间线接起来看更清楚。10月18日的早报记录了V4.1-Flash-1017版本上线与自研搜索接口同步开放;两天后,支撑这套服务运行的推理框架被放出来。两个动作是一套逻辑的前端和后端:先把模型能力push给用户,再把让这套能力跑得便宜的系统公开。

这已经是DeepSeek在开放上的连续第三步。此前它开放过模型权重系列、TileLang编译工具以及推理算子库。编译工具和算子库是砖瓦,推理框架是把砖瓦砌成房子的施工图。从砖瓦到图纸,开放的颗粒度在逐层变粗。

那么谁受影响最大?答案不是个人开发者。单个开发者用不到大规模集群调度,拿到这套代码也没有HW去验证。真正受影响的是云厂商和同行——大集群的并行策略、显存调度、算子融合排布一旦公开,行业推理成本的参照系就变了。过去各家对外只报"我们多便宜",现在第三方可以算出这条路的上限在哪。

定价策略也会受到挤压。当布署侧的工程优化空间被透明化,价格战的弹药就不再是秘密。对已经在低价区间竞争的国产模型服务来说,这是一个偏中性的坏消息:门槛被拉平了,差异化必须回到模型能力本身。

需要厘清一个常见误会:这次开源放的是"怎么跑得便宜",不是"怎么训得更强"。没有训练数据配方,没有后训练流程,也没有强化学习细节。把两者混为一谈,容易高估这次开放对模型能力追赶的帮助。

关于"opensource"的实际边界也值得留意。推理框架的开放程度取决于代码完整性与文档质量,能否复现官方宣称的性能,还要看是否附带了集群配置、硬件型号与负载假设。企业在评估迁移前,最好先做小规模验证,而不是直接照搬参数。

一句话收尾:AI服务的成本竞争正从模型层下沉到推理层,DeepSeek把这一层掀开了。