让手机断网后直接看懂照片、图表并回答问题,通常受限于内存和读取速度。面壁智能与OpenBMB开源的MiniCPM-V 4.7,试图把这件事往前推一步:据量子位报道,其35B-A3B版本可在iPhone 17 Pro Max上以约3GB内存运行,解码速度超过每秒13个token(模型生成文字时的基本单位)。
关键在于它采用MoE——把模型拆成多个“专家”子网络。模型虽有350亿总参数,每次生成只调用约30亿参数;其“前瞻专家调度”还会根据相邻层输入相似的特点,提前从闪存读取下一层可能需要的专家权重。团队测试称,这能预先备好超过80%的所需专家,而最终调用谁仍由原路由机制决定;在iPad Pro M4上,该方案将解码速度提升至约5倍。逐层混合精度量化则用更低精度保存部分权重,进一步减少内存与读取量,代价是理论上可能损失准确率。
这项工作的意义不只是把大模型“塞进手机”,而是展示了总参数很大的多模态模型也可能离线实用。不过,目前速度、内存和榜单成绩主要来自团队披露及媒体演示,尚缺少更多设备和真实任务下的独立验证。