↑

美团开源 LongCat-2.5:1.6 万亿总参、百万上下文,MIT 协议可商用

PromptTree|阅读 0
2026/11/10 07:35
美团LongCat开源模型多模态MoE
美团 11 月 9 日将 11 月 2 日发布的原生多模态模型 LongCat-2.5 正式开源,权重上传 Hugging Face,采用 MIT 协议允许商用部署与二次训练。模型总参 1.6 万亿、每 token 激活约 480 亿,支持一百万 token 上下文,视觉侧把图像表示为多层级离散 token 交由主干统一处理,推理采用专家权重与激活同为 4 bit 的 W4A4 方案,并针对国产算力芯片做了架构与部署协同优化。

开源大模型这条赛道上,参数总量已经不稀缺,稀缺的是「同样的显存与带宽能跑出多少可用能力」。11 月 9 日,美团宣布把 11 月 2 日发布的原生多模态模型 LongCat-2.5 正式开源,权重上传到 Hugging Face,采用 MIT 协议,允许商用推理部署与二次训练且无需额外授权。

LongCat 是美团的大模型品牌,龙猫团队给它定的方向不是通用聊天,而是「长程智能体任务」——那种需要连续几十步工具调用、读写整个代码仓库、在多个文件之间来回改动的活儿。这个定位决定了它的架构取舍:上下文要足够长,视觉要原生而不是外挂,推理成本要压到能长时间跑。

规格先摆清楚。总参数 1.6 万亿,每个 token 激活约 480 亿,属于典型的稀疏混合专家结构;上下文窗口支持一百万 token。官方称在复杂代码库开发、完整项目构建、Visual Coding 与专业办公这几类场景里,端到端交付能力比上一代有明显提升。

视觉部分的改造是这次的技术重点。多数多模态模型的做法是在语言主干外挂一个视觉编码器,图像进来先编码成特征向量,再拼到文本序列前面,图文之间存在一层隐式的对齐损耗。LongCat-2.5 换了个思路:把视觉信号表示为多层级的离散 token,让它和文本 token 走同一套主干参数处理。具体做法是对原生分辨率的视觉特征做残差向量量化,一级一级补足细节,粗粒度先定结构、细粒度再补纹理。

这个设计带来两个工程上的好处。一是视觉 token 可以离线预计算并缓存,在线推理时直接取用,减少了实时计算量;二是分布式训练时负载更均衡,不会因为图像分辨率差异导致某些卡空转。视觉码本与主干联合训练,意味着视觉与文本共享同一套参数和同一个语义空间,做图生代码、图改设计稿这类任务时,理解与生成不必在两套表示之间反复翻译。

推理侧用的是 W4A4 方案:专家权重和激活值同时量化到 4 bit,并通过原生 INT4 矩阵乘法单元执行计算。对万亿级 MoE 来说,这一步直接决定能不能落在现实硬件上——1.6 万亿参数的模型即便稀疏激活,权重体积依然惊人,把权重与激活同时压到 4 bit,是把「可下载」变成「可部署」的关键闸门。

更值得注意的一句是「针对显存与带宽受限的国产算力芯片,团队在模型架构、芯片适配与部署策略上进行了深度协同优化」。这句话的信息量在于顺序:不是先训完再适配,而是架构阶段就把目标硬件的显存和带宽约束算进去。对国内做私有化部署的团队,这比榜单分数更有参考价值。

放到这两周的坐标系里看,开源阵营的密度罕见地高:11 月 4 日月之暗面开放 Kimi K3.1 Pro 权重,2.8 万亿总参、1040 亿激活;同日腾讯发布 770B 的混元 Hy4 并预告开源;11 月 5 日百度开源 280B 总参、14B 激活的文心 5.5 Flash Base。美团这次补上的是「原生多模态 + 百万上下文 + MIT 宽松许可」这一格——前三家里,Kimi 用自定义许可且对达到收入门槛的服务商另有授权要求,百度是自定义模型许可,MIT 的商用自由度最高。

对开发者,最实际的动作是去看 Hugging Face 上的权重分片和官方技术博客里的部署配置,判断自己的卡能不能装下。对产业观察者,接下来三个观察点比较硬:一是长程智能体任务里,百万上下文能否真的撑住多轮工具调用而不「忘事」;二是 W4A4 量化后的实际精度损失,这在代码生成这类对细节敏感的任务上最容易暴露;三是国产芯片上的真实吞吐,官方口径之外的第三方复现才说明问题。