10 月 13 日,面壁智能发布了新一代端侧多模态大模型 MiniCPM-V 4.7。当天传开的标题都差不多:手机能跑 350 亿参数的大模型,只要 3GB 内存。
这句话有水分,后面我会拆。但它真正挪动的是一个默认前提:大模型必须待在机房里。(据上海证券报·中国证券网报道)
以前想在手机上跑大模型,卡在哪一步
参数越多,模型的能力上限越高,对内存的胃口也越大。手机想自己跑,第一道关就是内存。过去几年端侧模型都在往小做,不是不想做大,是做大了装不下。
MoE(混合专家)架构本来是个绕开的办法。它把模型内部拆成很多个「专家」,每次回答只调用其中几位,单次计算量就降下来了。代价在另一头:虽然每次只激活一部分,但全部专家权重仍然得存着。手机内存有限,装不下所有专家;频繁从存储里读数据,又会把解码速度拖垮。
智东西的报道把两条老路和它们的代价说得很清楚。一条是把权重放在固态存储上按需加载、用完就释放,听着合理,可加载太频繁,达不到实时交互的要求;另一条是缩小可用专家池,给整条提示词固定一批专家,加载次数是少了,但后面每个 token 只能从这批专家里挑,本该选中的被漏掉,模型能力跟着下降。
面壁这次动手的地方,就在这。
面壁这次把哪一步搬开了
它的解法叫 LES,中文是「前瞻专家调度」。思路不复杂:提前预测接下来要用到哪些专家,趁当前这一步还在算的时候,就把它们先加载好,让加载和计算叠在一起。(面壁智能方面介绍)
用接力赛打个比方,就是接棒的人提前起跑,棒子到手时已经是全速。真正关键的是分工。这套预测只负责预取和调度,计算本身仍走模型原来的 token 级路由;预测漏掉的专家,该加载还是照常加载、照常评估。换句话说,提速不是靠「少用专家」换来的。
据面壁智能公布的技术资料,配合权重量化和存储布局优化,LES 能把端侧推理速度提升约 5 倍。从上海证券报·中国证券网的报道看,面壁方面称这是目前业界独家的开源方案。
数字这边,面壁智能给出的口径是:35B-A3B 版本采用 MoE 架构,总参数 350 亿、每次推理只激活 30 亿,约 3GB 运行内存即可运行,iPad Pro 上解码速度 15+ token/s。(据多家媒体报道)智东西自己在 iPhone 17 Pro Max 上测到的数字,是超过 13 tokens/s。
适配面上,发布当天它就支持了瑞芯微、NVIDIA、Intel、Apple 等主流芯片平台,同时支持 iOS、安卓和鸿蒙,并开放端侧适配代码和主流推理框架。每日经济新闻的消息里也提到,这套适配是同步放出来的,不是画在后面的饼。(据每经网报道)
前后一对比,差别落在普通人身上是什么
以前的路径是这样:想用强一点的模型,就得联网,就得把要处理的东西先传到别人的服务器上;不想传出去,这件事基本就做不成。
现在中间多了一条路——一部分能力可以装进你自己的设备。好处很具体:不联网也能用;你拍了什么、写了什么、整理了什么,东西留在本机,不用先出门。
不过有几件事得说清,不然容易被标题带偏。
约 3GB 指的是特定部署方案下的运行内存占用,不等于这个 350 亿参数的完整模型只要 3GB 存储空间。华尔街见闻在报道里特意把这一条拎出来提醒过。
能力上限也还在。智东西的实测给了正面结论:推理速度很快,单任务基本秒级,图像识别和图文分析的准确度也不错;但它同时写明,受在线演示平台限制,模型的 token 输出长度存在上限,有些复杂问题答不完整。在纯文本的奥数、代码、严格约束指令和英文硬核专业知识上,它相对偏弱。
另外,这次一起发的还有 1B 版本,实际参数 1.3B,面向配置更低的设备,官方测下来在综合得分和推理效率上优于 Qwen3.5 0.8B。(据智东西报道)
那它该摆在什么位置?我的看法是,它更像把一部分简单的活接过来,不是替掉云端那个大模型。离线翻译、离线整理文档、随手分析一张图,这类事它接得下来;真要做复杂推理,眼下还不行。
什么时候轮到你手里这台手机
先记一个数字:MiniCPM 系列到现在的全球累计下载量已经突破 6000 万次,覆盖文本、视觉、语音。(据上海证券报·中国证券网报道)
但下载量是开发者的热闹,跟你手里那台手机不是同一回事。华尔街见闻的报道里提醒了距离:从模型跑通到真正装进普通消费级手机,中间还隔着一段路——持续推理带来的功耗和发热怎么控制,不同价位的芯片怎么适配,换上更大的模型能不能带来足够明显的体验提升,这些都还要再验证。
我的判断是两条。
一条是别急着换手机。短期内,这类能力不会以「一个能跑 350 亿参数的 App」的形式出现在你面前。
另一条是它已经在路上了,而且走的可能是最不起眼的方式——跟着系统更新悄悄进来。等你哪天发现手机里的 AI 关了网也能答,或者相册里的东西不上传就能整理好,这条新闻就是它的起点。