把 350 亿参数的模型塞进一部手机的 3GB 内存里，直觉上是不可能的事。面壁智能在 11 月 5 日北京技术分享会上给出的答案，是把「装不下」和「跑得慢」两个问题拆开，一个用存储层级解决，一个用调度预测解决。相关细节在 11 月 9 日对外公开后，成为端侧 AI 讨论里绕不开的一个案例。
先说主体。面壁智能是国内做端侧模型的代表团队之一，联合创始人、首席科学家刘知远，联席首席科学家姚远同时任教于清华大学；MiniCPM 系列是他们与 OpenBMB 社区共同维护的端侧模型家族，上一代 4.6 已经能在千元机上以 15 token/s 运行。这次的主角 MiniCPM-V 4.7 于 10 月 13 日发布并开源，35B-A3B 版本是总参 350 亿、每次推理激活约 30 亿的混合专家多模态模型。
物理约束是绕不开的第一道墙。姚远算过一笔账：一台 12GB 内存的手机，扣掉系统预留，留给模型的可用内存最多约 8GB，考虑多应用后台共存，实际能分给大模型的往往只有 3GB 左右。而 35B 模型即便做比较激进的 4 bit 量化，权重体积仍有约 15GB——比可用内存大了近一倍，连装都装不进去。
解法藏在两个「拆解」里。手机侧，256GB 以上闪存如今是常见配置，放下 15GB 权重并不困难；模型侧，MoE 架构的多数参数由彼此独立、并行工作的专家组成，每算一个 token 各层只需激活少数专家。把专家权重默认存在闪存、计算时按需加载进内存，峰值占用就压下来了。
但直接这么干会撞上第二个瓶颈：等算到某一层、确定需要哪些专家，再去闪存取，等待时间甚至超过计算本身。实测数据很直白——在 iPhone 17 Pro Max 上用这种朴素方式，每秒只能输出 3 个 token。
关键创新是前瞻专家调度（Lookahead Expert Scheduling，LES）。研究团队发现，得益于 Transformer 的残差结构，相邻层的隐藏状态变化通常不大，专家选择具有一定稳定性；于是可以在当前层计算时提前预测下一层需要哪些专家，由后台线程把对应权重预加载进内存，让「加载」藏在「计算」背后。一层计算约 1.25 毫秒，只够读大约 8 个专家，远不足以遍历全部 256 个，所以预测精度是这套方案成立的前提；官方技术博客称多数场景下能提前备好超过 80% 的所需专家。
更巧的是边界控制：LES 只改变权重加载的时机，不改变模型最终选择哪些专家，因此开关 LES 的输出完全一致，提速不以精度为代价。配合逐层混合精度量化、专家参数连续存储布局与 DSpark 投机解码，速度曲线是这样的：发布时 iPhone 17 Pro Max 上超过 13 token/s、iPad Pro M4 上超过 17 token/s，换到 iPhone 18 Pro Max 达到 20 token/s 以上，而 LES 2.0 把速度推到 30 token/s 以上，内存仍锁在约 3GB。
多模态这一侧也有对应优化。姚远坦言样机上图像编码「可能要等 2 秒」，已经稍长；行业多数方案是全图编码，开销随图片变大呈平方级增长，他们的方案接近线性，总体开销估计只有前者的十分之一，才把等待压到这个量级。
生态适配是另一个常被忽略的变量。MiniCPM-V 4.7 发布当天完成对 AMD、Apple、Arm、Intel、NVIDIA、瑞芯微、后摩智能等平台的适配，并通过众智 FlagOS 软件栈支持华为、海光、昆仑芯、摩尔线程、沐曦等国产 AI 芯片；与高通、联发科、紫光展锐、爱芯元智也有协同。姚远提到一个硬件侧的转折：2026 年之前，手机 NPU 的优化重心还是 CNN、RNN 这类早期架构，新一代芯片开始原生支持 Transformer 的自注意力计算，这会进一步释放端侧模型的性能。
判断层面，姚远给了一个明确但保守的表述：两年内把 GPT-6 级别的智能装进手机，「我们觉得是可以实现的」。他的依据是「密度定律」——智能密度大约每 3.5 个月翻一番，叠加硬件与 Infra 两个飞轮，三者的收益以乘积方式叠加，整体可能获得五到六倍以上增益。他也承认模型始终决定能力边界：「它做不到就是做不到，你把它快一万倍，输出也是 0。」
值得关注的还有交付形态。这次不只是放权重，端侧推理代码、App 安装包与微调方案一并开源，同样的设备下载后就能复现官方演示。对手机厂商与芯片厂商，这是可以直接拿去评估的工程件；对独立模型团队，这也回答了一个现实问题——在大厂纷纷自研端侧模型、云端 API 价格一路下探的当下，护城河不在单个模型，而在「模型 + 硬件理解 + Infra」这套全栈系统工程。