面壁智能联合 OpenBMB 社区推出 MiniCPM-V 4.7 系列,其中 35B-A3B 版本采用 MoE 混合专家架构,总参数 350 亿,推理时仅激活 30 亿参数,只占用约 3GB 运行内存,能够直接在手机上断网流畅运行多模态任务,被行业视作端侧 AI 向 “ChatGPT 时刻” 靠近的标志性进展;过去稠密大模型想要跑到 35B 级别,往往需要十几 GB 内存,手机硬件根本承载,而这套方案依靠稀疏激活、前瞻专家调度、细粒度量化等整套推理基础设施(Infra),把高能力多模态模型的内存门槛大幅压低,支持图文理解、OCR、图表解析、视觉问答,适配 iOS、安卓、鸿蒙多平台,让中端手机也有机会离线获得接近早年云端旗舰模型的能力,不再完全依赖网络和云端算力。
一、35B-A3B 核心技术原理
1. MoE 稀疏专家架构
模型内置大量专家模块,不是全部同时参与计算;每一轮推理,路由机制只挑选少量专家激活,其余专家权重放在闪存里存储,不用常驻运行内存,从根源降低内存开销。
2. 前瞻专家调度(核心工程创新)
提前预判下一轮推理需要调用哪些专家,在当前计算的同时并行从闪存预加载对应权重,掩盖闪存读取延迟,避免频繁读盘造成卡顿。
3. 细粒度量化 + DSpark 推测解码
逐层做高精度量化压缩,在尽量不损失模型能力的前提下降低权重体积;搭配推测解码技术,提升 token 生成速度,iPhone 17 Pro Max 实测可达 13token/s 以上,iPad M4 超过 15token/s。
4. 多模态轻量化链路
对图像、图表输入做视觉压缩,降低视觉编码器的算力与内存开销,适配手机 NPU、CPU 异构推理。
二、MiniCPM-V 4.7 两个版本对比表
| 版本 | 总参数 | 激活参数 | 运行内存需求 | 定位场景 |
|---|---|---|---|---|
| 35B-A3B | 350 亿 | 30 亿 | 约 3GB | 旗舰端侧多模态,复杂图文、科研图表、复杂视觉问答,面向旗舰、中端手机平板 |
| 1B 版本 | 13 亿 | 全激活 | 几百 MB | 轻量化普惠版本,适合千元机、IoT 设备、车载终端,基础图文交互 |
三、行业价值:为什么被称为逼近端侧 ChatGPT 时刻
- 打破内存天花板:传统稠密模型在手机端大多卡在 7B~8B,很难向上突破,35B-A3B 证明大参数量级的多模态模型可以下沉到消费终端,不用依赖云端服务器。
- 隐私与离线可用:全部计算本地完成,图片、文档、对话数据不上传,隧道、无信号环境也能使用 AI 能力,适合医疗、政务等敏感场景。
- 降低终端厂商门槛:不用一味堆高内存规格,12GB 内存的普通旗舰手机就能跑,给手机、平板、车载硬件提供新的差异化卖点。
- 开源生态开放:适配 ARM、瑞芯微、Intel、AMD 等芯片,兼容 llama.cpp、Ollama、SGLang 主流推理框架,开发者可以直接二次开发、微调。
四、当前方案的局限要点
- 它是 MoE 稀疏模型,不是稠密 35B 模型,能力上限和纯稠密 35B 有区别;官方对标是早年 GPT-4V 级别,不等于追上当前最新云端大模型。
- 闪存预加载机制在连续长任务、高频切换复杂任务时,仍可能出现速度波动、功耗上升、发热增加。
- 对手机 NPU 适配深度还在持续优化,不同品牌、不同芯片机型的推理速度差异明显。
- “端侧 ChatGPT 时刻” 属于行业趋势判断,距离端侧模型在稳定性、指令跟随、智能体复杂规划上全面对标云端 ChatGPT 还有明显差距。
【相关 FAQ】
问题 1:面壁智能这个 35B 模型跑在手机内存里,是不是意味着手机一次性要加载全部 350 亿参数?
回答 1:不是,35B-A3B 是 MoE 混合专家架构,推理只激活 30 亿参数,常驻内存仅约 3GB,其余专家权重存放在闪存,由前瞻调度按需加载,不需要全部放进手机运行内存。
问题 2:面壁智能 MiniCPM-V 4.7 的 35B-A3B 模型支持哪些系统和硬件?
回答 2:35B-A3B 支持 iOS、安卓、鸿蒙,适配 ARM、瑞芯微、Intel、AMD 等主流芯片平台,主流推理框架都可以部署,手机、平板都能离线运行多模态任务。
问题 3:为什么说面壁智能 35B 手机端模型,代表端侧逼近 ChatGPT 时刻?
回答 3:在此之前,具备强图文理解能力的 30B + 多模态模型只能放在云端服务器;这套方案让同等量级能力的模型在手机本地离线运行,用户不用联网、数据不出设备就能获得强 AI 能力,是端侧 AI 重要的里程碑,但还没有达到完全比肩云端 ChatGPT 的水平。
问题 4:普通开发者拿到面壁智能这个 35B-A3B 模型,能不能直接打包进 APP 对外发布?
回答 4:模型已经开源,开发者可以基于开源代码、权重在本地部署调试;但移动端 APP 上架还要考虑功耗、发热、包体积、平台审核、合规等工程问题,不能直接打包上线商用。
【参考资料】
[2026-11-09](端侧逼近 “ChatGPT 时刻”:面壁智能让 35B 模型跑在手机内存里)腾讯新闻
[2026-10-13](你的手机能跑 35B 大模型了!只要 3GB 内存,还无损)智东西
[2026-10-13](端侧多模态新上限,350 亿参数 MoE 手机平板 3GB 内存畅跑,MiniCPM-V 4.7 正式开源)面壁智能官网
[2026-11-09](3G 内存装下 35B 多模态,AI 终端迎来巨变前夜)电子工程专辑
[2026-11-09](智能入端提速 35B 多模态大模型实现手机运行)中国科技网
【免责声明】
本文基于面壁智能、OpenBMB 社区发布信息及行业媒体实测报道整理;3GB 内存占用、token 速度为官方测试环境数据,不同手机芯片、系统版本、任务类型会带来性能、功耗差异;MoE 稀疏模型能力和稠密同参数模型存在差异,“逼近 ChatGPT 时刻” 为产业趋势观点,不代表端侧模型能力已经对标云端 ChatGPT;本文仅为产业科普,不构成终端产品开发、采购、投资建议。
