面壁智能 MiniCPM-V4.7：35B 端侧 MoE 跑进 3GB 内存，手机也能跑多模态

一部手机跑 350 亿参数，正在从 Demo 变成日常

10 月 13 日，面壁智能发布了新一代端侧多模态大模型 MiniCPM-V4.7，一次给出两个版本：35B-A3B 和 1B。乍看是一次常规迭代，但那个 35B-A3B 的型号值得多看一眼：总参数 350 亿，走 MoE（混合专家）架构，每次推理只激活其中约 30 亿参数。官方称它是"首个能在端侧无损流畅运行的开源 MoE 模型"，跑起来只占约 3GB 内存。

在 iPad Pro 上实测，解码速度 15 token/s 以上。你问一句，它回一句，不用盯着进度条慢慢爬。

MoE 在端侧的两难

MoE 之所以流行，是因为它算得一笔好账：把模型拆成许多"专家"，每次只叫醒其中几位。总参数可以堆得很大，实际计算量却接近一个小模型。这条路线在云端很舒服，机房里有的是显存。

搬到端侧就尴尬了。瓶颈不在算力，在内存。所有专家都得预先放进去备着，因为没人知道下一个 token 会用到谁。350 亿参数按常规精度躺在那儿，就是几十 GB，手机运存直接告急。"能力强"和"跑得动"在端侧成了一道单选题。

提前叫醒下一位专家

面壁的解法叫 LES，前瞻专家调度。思路并不玄：既然用哪几位专家可以预测，那就提前预测。系统在当前的矩阵计算还在进行时，就判断接下来要调用哪些专家，把它们先一步加载进内存，让加载和计算叠在一起跑。

换个说法，就是把"临时跑去仓库取货"改成"一边干活、一边有人把下一件货提前递到你手上"。官方表示这是目前业界独家的开源方案。

两个版本，各管一段

35B-A3B 负责把旗舰级能力往端侧搬。它面向的是这样一类场景：既想要接近云端水平的理解力，又不愿意把数据发出去。离线文档问答、拍张照片当场识别、无网环境下的语音助手，都在射程之内。1B 版本则把效率压到极致，目标是让更多设备都能跑起来，而不是只服务少数旗舰机。

发布当天，MiniCPM-V4.7 就完成了对瑞芯微、NVIDIA、Intel、Apple 等芯片平台的适配，同时支持 iOS、安卓和鸿蒙，并开放了端侧适配代码与主流推理框架。这套动作的潜台词很清楚：它不是实验室里的演示，而是希望开发者拿过去就能落地。

6000 万次下载背后的路线选择

面壁与 OpenBMB 社区共同维护的 MiniCPM 系列，累计下载量已突破 6000 万次，覆盖文本、视觉、语音。这个数字放在开源圈里不算小，说明端侧小模型这条线有稳定的真实需求，不是厂商自说自话。

同一周，国产端侧与开源阵营还有别的动作。小米把 MiMo-V2.6 系列开源，旗舰 Pro 版总参数 1.02 万亿、激活约 420 亿、100 万 token 上下文，走的是"递归自我改进"的强化学习路线，还少见地把 RL 训练成本公开了出来。中国科学院自动化研究所联合武汉人工智能研究院把紫东太初 ZDTaichu5.0-9B 开源，除了权重，还放出了整套空间多模态数据生产管线，从数据接入清洗到三维标注、合成校验一应俱全。

这些项目有一个共同点：给的已经不只是模型，而是"怎么把自有数据变成模型能力"的方法。对想在自己行业里落地的团队来说，后者往往更值钱。

端侧究竟解决了什么

云端模型更聪明，这一点短期内不会变。端侧的价值不在绝对能力，而在几件很实在的事：延迟稳定、断网可用、数据不出设备。对做企业内部工具、医疗或工业巡检、教育硬件的人来说，后两条常常比多几个基准分数更重要。

也要把差距看清楚。35B-A3B 每次激活 30 亿参数，能力大致落在中小型模型区间，跟顶级闭源模型仍不是一回事。端侧无损运行解决的是"跑得动"，并不等于"跑得最好"。把它当成一个可离线、可私有、随时待命的助手，期待值会更准。

写在最后

过去一年，大模型竞赛的主战场是参数和榜单。而当参数战打到一定程度，"能不能塞进用户手里的设备"开始变成新的分水岭。MiniCPM-V4.7 有意思的地方，不是它又刷新了某个分数，而是它把"端侧跑 MoE"从一句口号推进到了可复现的工程方案。

端侧的想象力不在于复制云端，而在于那些云端触及不到的角落：地下的机房里、没有信号的山上、以及不想把工作资料上传到别处的普通岗位上。这些场景不会上热搜，但它们才是端侧模型真正的市场。