把大模型塞进手机这件事，过去两年的进展主要卡在内存上。一个 35B 参数的模型，即便做 4 比特量化，权重仍有约 15GB，远超手机可用内存。陆兮科技 11 月 10 日发布的 LuxiInfer Android v1.0.0，给了一个工程上可行的绕法。
产品形态
LuxiInfer Android 是一个端侧推理应用，用户可在应用内下载配套模型包并在手机本地运行。当前支持 LuxiLLM-1.7B、Qwen3.5-0.8B、Qwen3.5-2B 与 Qwen3.6-35B-A3B，适配范围为搭载骁龙 8 Elite Gen 5 的安卓设备。
核心矛盾与解法
混合专家（MoE）架构的关键特性是：模型总参数很大，但每生成一个 token 只激活少数专家。以 35B-A3B 为例，总参数 350 亿，每次激活约 30 亿。计算量因此可控，但权重总量依然是问题——所有专家都要存在某个地方。
手机恰好有两级存储：内存小而快，闪存大而慢。陆兮的方案是把专家权重放在闪存里，需要时再加载到内存，从而把内存峰值压到约 5GiB。配合低比特量化与动态缓存，35B MoE 得以在 16GiB 内存的手机上运行，配套模型包约占 10.9GB 存储。
性能指标
在输入、输出各 1024 token 的纯文本测试中，生成速度为 14.179 token/s。这个数字放在端侧语境里属于可用区间：略低于人类快速阅读的速度，但足以支撑离线问答、文档总结、翻译这类交互。代价是首 token 延迟会受到专家加载的影响，长文档连续生成时的散热与功耗也需要实测检验。
为什么值得做
端侧推理的价值不止于省流量。模型在本地运行时数据不出设备，对隐私敏感场景是刚性需求——医疗问诊记录、企业内部文档、个人相册内容都不适合上传云端。同时不依赖网络往返，在弱网与离线环境下可用。
成本结构也不同。云端推理按 token 计费，高频轻量请求的边际成本会累积；端侧推理的边际成本接近零，只有一次性硬件投入与电费。对每天要处理几十次短请求的用户，这条账算得过来。
制约条件
适配范围目前锁定在最新一代骁龙旗舰平台，这意味着中低端设备短期内无法享受同等能力。模型包接近 11GB 存储，对 256GB 机型尚可接受，对 128GB 机型已属奢侈。此外 14 token/s 的速度适合阅读型任务，不适合需要快速多轮迭代的编码或长文创作。
路线格局
端侧与云端不是替代关系，更现实的是按任务分层。需要百万级上下文、复杂推理、多工具调用的请求交给云端；高频、轻量、涉隐私的请求留在端侧。这条分层边界怎么划，直接决定产品的成本结构与体验上限。
同期行业里还有另一条技术路线在推进：通过预测下一层需要的专家、提前从闪存预取，把数据搬运与计算并行。两种思路殊途同归——都是把 MoE 的稀疏性当成解法而不是负担。这也说明端侧大模型的门槛正在从"算法突破"变成"存储带宽与调度的工程优化"，而后者恰恰是中国团队擅长的事。