↑

面壁智能开源MiniCPM-V 4.7,35B多模态模型流畅跑上手机

PromptTree|阅读 0
2026/10/14 07:57
面壁智能OpenBMBMiniCPM-VMoE端侧AI
面壁智能与OpenBMB开源MiniCPM-V 4.7,推出35B-A3B和1B两个版本;其中混合专家版本以约30亿激活参数运行,并通过LES调度降低内存与推理开销,主攻手机等端侧设备。

一个总参数350亿的多模态模型,开始尝试在手机断网状态下流畅运行。面壁智能这次解决的不是“模型能不能塞进去”,而是“塞进去后能不能真正用”。

10月13日,面壁智能与OpenBMB社区发布并开源MiniCPM-V 4.7,提供35B-A3B与1B两个版本。35B-A3B是该系列首个混合专家模型,总参数规模350亿,但每次推理只激活约30亿参数;1B版本则面向内存和算力更有限的移动设备,覆盖OCR、图像理解、数学与视频理解等常用能力。

混合专家模型可以理解为把一个大模型拆成多个“专科小组”。每次输入不需要调动全部参数,而是由路由机制选择少数专家参与计算。这样既保留较大的知识容量,又把单次推理成本压下来。不过,专家权重频繁装入内存会产生新的瓶颈,因此大参数MoE过去更常见于服务器,而不是手机。

MiniCPM-V 4.7引入LES前瞻专家调度技术。它会提前判断下一阶段可能用到的专家并安排加载,减少设备等待权重搬运的时间。公司公布的测试显示,35B-A3B版本在iPhone 17 Pro Max上约占用3GB内存,解码速度超过每秒13个词元。这个速度已经越过“能跑”的门槛,进入可以连续对话和处理视觉任务的区间。

适配范围同样是这次发布的重点。公开信息显示,模型支持iOS、Android与鸿蒙,并覆盖Intel、AMD、Arm、瑞芯微等多类芯片平台。对开发者来说,模型开源之外更重要的是推理框架、量化方案和算子适配是否齐全,否则同一套权重很难在差异巨大的端侧硬件上保持一致表现。

面壁智能还同步开放SRFT微调方案。SRFT即Self-Replay Fine-Tuning,核心思路是在加入新任务数据时,让模型“回放”一部分原有能力,降低微调后忘掉旧知识的风险。端侧产品往往要针对设备、行业和用户习惯做二次训练,这类低成本微调工具决定了模型能否从演示走向实际应用。

端侧多模态的价值主要有三点:数据可以留在本机,网络中断时仍能工作,云端推理费用也能下降。文档识别、相册检索、屏幕理解、车载视觉与工业巡检等任务不必把原始图像持续上传,隐私和响应速度都更容易控制。代价则是设备发热、电量消耗和不同芯片上的维护成本。

需要把官方指标放回测试条件中理解。约3GB内存和每秒13个以上词元来自指定设备与优化方案,不等于所有手机都能复现;模型规模也不直接等于效果,端侧量化后是否保持视觉推理质量,仍需第三方测试。MiniCPM-V 4.7真正值得观察的,是开源社区能否在不同设备上复现这些结果,并做出稳定可用的本地应用。