您的位置首页 >要闻 > 手机 >

端侧逼近 “ChatGPT 时刻”面壁智能 35B MoE 模型可在手机内存内运行

面壁智能联合 OpenBMB 社区推出 MiniCPM-V 4.7 系列,其中 35B-A3B 版本采用 MoE 混合专家架构,总参数 350 亿,推理时仅激活 30 亿参数,只占用约 3GB 运行内存,能够直接在手机上断网流畅运行多模态任务,被行业视作端侧 AI 向 “ChatGPT 时刻” 靠近的标志性进展;过去稠密大模型想要跑到 35B 级别,往往需要十几 GB 内存,手机硬件根本承载,而这套方案依靠稀疏激活、前瞻专家调度、细粒度量化等整套推理基础设施(Infra),把高能力多模态模型的内存门槛大幅压低,支持图文理解、OCR、图表解析、视觉问答,适配 iOS、安卓、鸿蒙多平台,让中端手机也有机会离线获得接近早年云端旗舰模型的能力,不再完全依赖网络和云端算力。

一、35B-A3B 核心技术原理

1. MoE 稀疏专家架构

模型内置大量专家模块,不是全部同时参与计算;每一轮推理,路由机制只挑选少量专家激活,其余专家权重放在闪存里存储,不用常驻运行内存,从根源降低内存开销。

2. 前瞻专家调度(核心工程创新)

提前预判下一轮推理需要调用哪些专家,在当前计算的同时并行从闪存预加载对应权重,掩盖闪存读取延迟,避免频繁读盘造成卡顿。

3. 细粒度量化 + DSpark 推测解码

逐层做高精度量化压缩,在尽量不损失模型能力的前提下降低权重体积;搭配推测解码技术,提升 token 生成速度,iPhone 17 Pro Max 实测可达 13token/s 以上,iPad M4 超过 15token/s。

4. 多模态轻量化链路

对图像、图表输入做视觉压缩,降低视觉编码器的算力与内存开销,适配手机 NPU、CPU 异构推理。

二、MiniCPM-V 4.7 两个版本对比表

版本总参数激活参数运行内存需求定位场景
35B-A3B350 亿30 亿约 3GB旗舰端侧多模态,复杂图文、科研图表、复杂视觉问答,面向旗舰、中端手机平板
1B 版本13 亿全激活几百 MB轻量化普惠版本,适合千元机、IoT 设备、车载终端,基础图文交互

三、行业价值:为什么被称为逼近端侧 ChatGPT 时刻

  1. 打破内存天花板:传统稠密模型在手机端大多卡在 7B~8B,很难向上突破,35B-A3B 证明大参数量级的多模态模型可以下沉到消费终端,不用依赖云端服务器。
  2. 隐私与离线可用:全部计算本地完成,图片、文档、对话数据不上传,隧道、无信号环境也能使用 AI 能力,适合医疗、政务等敏感场景。
  3. 降低终端厂商门槛:不用一味堆高内存规格,12GB 内存的普通旗舰手机就能跑,给手机、平板、车载硬件提供新的差异化卖点。
  4. 开源生态开放:适配 ARM、瑞芯微、Intel、AMD 等芯片,兼容 llama.cpp、Ollama、SGLang 主流推理框架,开发者可以直接二次开发、微调。

四、当前方案的局限要点

  1. 它是 MoE 稀疏模型,不是稠密 35B 模型,能力上限和纯稠密 35B 有区别;官方对标是早年 GPT-4V 级别,不等于追上当前最新云端大模型。
  2. 闪存预加载机制在连续长任务、高频切换复杂任务时,仍可能出现速度波动、功耗上升、发热增加。
  3. 对手机 NPU 适配深度还在持续优化,不同品牌、不同芯片机型的推理速度差异明显。
  4. “端侧 ChatGPT 时刻” 属于行业趋势判断,距离端侧模型在稳定性、指令跟随、智能体复杂规划上全面对标云端 ChatGPT 还有明显差距。

【相关 FAQ】

问题 1:面壁智能这个 35B 模型跑在手机内存里,是不是意味着手机一次性要加载全部 350 亿参数?

回答 1:不是,35B-A3B 是 MoE 混合专家架构,推理只激活 30 亿参数,常驻内存仅约 3GB,其余专家权重存放在闪存,由前瞻调度按需加载,不需要全部放进手机运行内存。

问题 2:面壁智能 MiniCPM-V 4.7 的 35B-A3B 模型支持哪些系统和硬件?

回答 2:35B-A3B 支持 iOS、安卓、鸿蒙,适配 ARM、瑞芯微、Intel、AMD 等主流芯片平台,主流推理框架都可以部署,手机、平板都能离线运行多模态任务。

问题 3:为什么说面壁智能 35B 手机端模型,代表端侧逼近 ChatGPT 时刻?

回答 3:在此之前,具备强图文理解能力的 30B + 多模态模型只能放在云端服务器;这套方案让同等量级能力的模型在手机本地离线运行,用户不用联网、数据不出设备就能获得强 AI 能力,是端侧 AI 重要的里程碑,但还没有达到完全比肩云端 ChatGPT 的水平。

问题 4:普通开发者拿到面壁智能这个 35B-A3B 模型,能不能直接打包进 APP 对外发布?

回答 4:模型已经开源,开发者可以基于开源代码、权重在本地部署调试;但移动端 APP 上架还要考虑功耗、发热、包体积、平台审核、合规等工程问题,不能直接打包上线商用。

【参考资料】

[2026-11-09](端侧逼近 “ChatGPT 时刻”:面壁智能让 35B 模型跑在手机内存里)腾讯新闻

[2026-10-13](你的手机能跑 35B 大模型了!只要 3GB 内存,还无损)智东西

[2026-10-13](端侧多模态新上限,350 亿参数 MoE 手机平板 3GB 内存畅跑,MiniCPM-V 4.7 正式开源)面壁智能官网

[2026-11-09](3G 内存装下 35B 多模态,AI 终端迎来巨变前夜)电子工程专辑

[2026-11-09](智能入端提速 35B 多模态大模型实现手机运行)中国科技网

【免责声明】

本文基于面壁智能、OpenBMB 社区发布信息及行业媒体实测报道整理;3GB 内存占用、token 速度为官方测试环境数据,不同手机芯片、系统版本、任务类型会带来性能、功耗差异;MoE 稀疏模型能力和稠密同参数模型存在差异,“逼近 ChatGPT 时刻” 为产业趋势观点,不代表端侧模型能力已经对标云端 ChatGPT;本文仅为产业科普,不构成终端产品开发、采购、投资建议。