↑

陆兮科技发布LuxiInfer Android:35B稀疏模型在手机端以约5GiB内存运行

PromptTree|阅读 0
2026/11/17 07:38
陆兮科技LuxiInfer端侧推理MoE高通骁龙
陆兮科技发布LuxiInfer Android:35B稀疏模型在手机端以约5GiB内存运行
陆兮科技发布LuxiInfer Android v1.0.0,支持在手机本地运行LuxiLLM-1.7B、Qwen3.5系列与Qwen3.6-35B-A3B;35B稀疏模型在16GiB内存手机上峰值内存约5GiB,模型包约10.9GB,纯文本生成速度14.179 token/s。

手机端跑大模型讲了两年,多数演示停留在十亿参数级别。陆兮科技发布的LuxiInfer Android v1.0.0,把门槛往上推了一档:在手机上本地跑35B的稀疏模型。

先说清楚它是什么。LuxiInfer Android是一个安卓应用,用户可在应用内下载配套模型并在本地运行,不依赖云端。目前支持的模型包括LuxiLLM-1.7B、Qwen3.5-0.8B、Qwen3.5-2B与Qwen3.6-35B-A3B。适配范围限定为搭载Snapdragon 8 Elite Gen 5的安卓设备——也就是当前一代高通旗舰平台。

三个关键数字决定了它的实际可用性。第一个是内存:官方报告35B稀疏(MoE)模型在16GiB内存手机上运行时,峰值内存约5GiB。第二个是存储:配套模型包约占10.9GB。第三个是速度:在输入、输出各1024 token的纯文本测试中,生成速度为14.179 token/s。

这三者放在一起才有意义。峰值5GiB说明运行时只把活跃部分驻留内存,而不是把全部权重摊开;10.9GB的模型包说明权重仍需完整存放,只是以低比特量化压缩;14.179 token/s意味着输出一百来字大约需要七八秒,读一段短文的速度感是可以接受的,做长文档生成仍然偏慢。

技术路径由三件事组成:低比特量化、专家按需加载与动态缓存。量化把权重压到更低精度以减少体积与带宽占用;MoE的稀疏特性让每次前向只需唤醒部分专家,于是「按需加载」成为可能——用到哪个专家才从存储读入内存;动态缓存则管理这些专家的换入换出,避免反复读取。这也是为什么35B的总参数能与5GiB的峰值内存共存:MoE把「总参数」与「运行时占用」解耦了。

对比此前端侧方案,这次的变化在于思路。过去的主流做法是「做一个专门为手机设计的小模型」,参数小、能力强受限;现在变成「把一个大模型的稀疏子集塞进手机」,代价转移到存储与平台代际。前者是能力妥协,后者是工程妥协,后者的上限更高,但对硬件的要求也更苛刻。

限制同样明确。适配锁定单一代际的高通旗舰平台,意味着绝大多数在用手机无法使用;10.9GB的模型包超过不少机型的剩余存储,下载与更新都是硬成本;14.179 token/s的速度在多模态输入下会进一步下降。这些限制决定了它短期内的定位是尝鲜与特定场景工具,而非通用替代。

更值得关注的是它对端侧AI竞争格局的提示。当稀疏激活让「总参数」不再是运行时负担,手机端的能力天花板会跟着芯片的内存带宽与存储规格走,而不是跟着模型参数量走。这也解释了为什么头部芯片厂商近两年反复强调内存带宽——端侧AI的瓶颈正在从算力转向数据搬运。陆兮科技把35B模型放进手机这件事本身,就是这条判断的一次公开验证。