先给结论:面壁智能(OpenBMB)开源的 MiniCPM-V 4.7 35B-A3B 是一个总参数 35.2B、但每个 token 只激活约 3B(约 3.5B)的 MoE 多模态模型,靠前瞻专家调度(LES)+ 细粒度量化 + DSpark 投机采样三件套,把权重放在手机 SSD 上、只约占 3GB 内存,就能在 iPhone 17 Pro Max 上做到无损推理、13+ tokens/s 的解码速度;官方 Cookbook 还给出了 transformers、llama.cpp、Ollama、vLLM 等多条在线部署路线,开发者照着步骤就能在本地跑起来。
一、模型基本盘:两个版本,先选对再部署
| 版本 | 总参数 | 激活参数 | 文本骨干 | 上下文 | 定位 |
|---|---|---|---|---|---|
| MiniCPM-V-4.7-1B | 1.55B(约 1.3B) | 稠密全激活 | qwen3_5_text | 256K | 边缘 / 端侧轻量档,OCR、数学、视频同尺寸第一梯队 |
| MiniCPM-V-4.7-35B-A3B | 35.2B | 每 token 约 3.5B(256 个专家,每 token 选 8 个) | qwen3_5_moe_text | 256K | 端侧流畅运行的强档,也可做高吞吐服务部署 |
两个版本共用同一套基于 SigLIP 的 canvas M-RoPE 视觉塔(27 层、patch 14、4×/16× 混合视觉 token 压缩),都支持单图、多图和视频理解;权重、推理代码、微调代码全部开源。
二、为什么 35B 能只激活 3B 还跑得快:三层技术拆解
- MoE 稀疏激活(第一层):35B 总参数拆成 256 个专家模块,每次推理只挑 8 个、激活约 3B,其余权重留在 SSD 不进内存,容量不减、随身负担大减。
- LES 前瞻专家调度(第二层,核心):把当前层的路由输入特征直接送进下一层 router,预判下一层要激活哪 8 个专家,在本层 GPU 计算的同时由独立线程把预测专家从 SSD 预取到内存缓冲槽;预测只指导预取和调度,计算仍按模型原始路由走,漏掉的专家照常加载评估,所以不掉精度。实测对真实激活专家覆盖率超 80%,消除 90% 以上 I/O 等待;iPad Pro M4 16GB 上解码平均提速约 5 倍,绝对速度 17~19 tokens/s。
- DSpark 投机采样(第三层,快上加快):配套轻量草稿模型一次提出多个候选 token,目标模型一次前向并行验证、受理最长一致前缀,把每 token 固定开销摊薄;草稿用半自回归结构 + 秩 256 低秩 Markov 模块恢复块内依赖,受理率不随位置衰减。M5 16GB Mac 实测最优 n_max 下 TPS 平均提升 27%、最高 66%。
- 辅助项:细粒度逐层量化压缩专家权重、连续地址空间 mmap 布局拉满 SSD 顺序读;视觉侧沿用 448×448 分片图像编码和 4×/16× 混合压缩,16× 压缩后 MMBench 仍有 90.9、OCRBench 90.4,精度几乎不掉。
三、在线教程:四条部署路线照着走
路线 1:HuggingFace transformers(最快验证,需 transformers ≥ 5.18.0,免 trust_remote_code)
from transformers import AutoProcessor, AutoModelForImageTextToText
model_path = "openbmb/MiniCPM-V-4.7-1B" 或 35B-A3B
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModelForImageTextToText.from_pretrained(
model_path, dtype="auto", device_map="auto").eval()
- 对话用 processor.apply_chat_template 组消息,图片走 {"type":"image"};关闭思考模式传 chat_template_kwargs={"enable_thinking": False}。
- 推荐采样参数:temperature=0.7、top_p=0.95、top_k=100、min_p=0.0、repetition_penalty=1.03。
路线 2:Ollama(手机 / 桌面一键拉取)
ollama run openbmb/minicpm-v4.7
MoE 镜像标签为 openbmb/minicpm-v4.7:moe。
路线 3:llama.cpp(端侧 / Metal/CPU 首选,官方已合入上游 PR 29416)
- 拉取对应 GGUF 仓库:openbmb/MiniCPM-V-4.7-1B-gguf / openbmb/MiniCPM-V-4.7-35B-A3B-gguf,ModelScope 同名;再下配套 DSpark 草稿 GGUF 做投机解码。
- 常用量化档:F16、Q8_0、Q6_K、Q5_K_M、Q5_K_S。
路线 4:服务端部署
- vLLM:上游已支持,vllm serve直接起;SGLang 需用 fork 分支;AMD 平台可用 FastFlowLM(flm)命令行或flm serve起 52625 端口 OpenAI 兼容接口,Windows 默认权重目录 %USERPROFILE%\.flm\models\。
四、量化格式怎么选
| 格式 | 1B | 35B-A3B | 备注 |
|---|---|---|---|
| GGUF | ✅ | ✅ | 端侧 / CPU-Metal 首选 |
| int4 (BNB) | ✅ | ✅ | 注意 35B 须用融合专家感知工具 |
| AWQ / GPTQ | ✅ | ✅ | 普通 AutoAWQ/AutoGPTQ 无法量化融合 MoE 专家参数 |
| FP8 | — | ✅ | llm-compressor 产出 |
35B-A3B 的 4-bit checkpoint(-AWQ/-GPTQ/-int4/-FP8)都用融合专家感知工具制作,别直接套普通量化流程。
五、能力成绩速览(35B-A3B)
- 通用:MMBench 91.7、MMStar 80.7;STEM:MMMU 80.2、MathVista 88.0、MathVerse 86.5。
- OCR / 图表:OCRBench 91.2、CharXiv Reasoning 75.6、OmniDocBench 94.2。
- 视频:LongVideoBench 68.9、MotionBench 68.1;中文知识 CMMLU 90.2;GUI:ScreenSpot 87.0。
- 生态:发布当天适配 Intel、瑞芯微、AMD、ARM、后摩智能、NVIDIA、Apple 等平台;截至 2026 年 10 月 MiniCPM 系列累计下载超 6000 万次。
【相关 FAQ】
问题 1:MiniCPM-V 4.7 说的 "每次仅激活约 3B" 是什么意思,35B 总参数为什么只要 3B 就能跑?
回答 1:MiniCPM-V 4.7 35B-A3B 是 MoE 架构,总参数 35.2B、含 256 个专家,每个 token 只激活其中约 8 个、合计约 3.5B(简称 3B),其余专家权重放在手机 SSD 上按需读取;配合 LES 前瞻专家调度预取,内存只占约 3GB 就能跑,这就是 "35B 装进手机、每次仅激活约 3B" 的原理。
问题 2:MiniCPM-V 4.7 端侧解码 13+ tokens/s 是在哪台设备测的,怎么跑出来的?
回答 2:13+ tokens/s 是 OpenBMB 官方在 iPhone 17 Pro Max 上的自测成绩,由 LES 前瞻专家调度(预取专家、加载与计算重叠)、细粒度逐层量化和 DSpark 投机采样共同实现;iPad Pro M4 16GB 实测可达 17~19 tokens/s,注意这是官方测试配置结果,不同机型会有差异。
问题 3:新手按在线教程本地体验 MiniCPM-V 4.7,最快选哪条路线?
回答 3:想快速验证用 transformers ≥5.18.0 直接加载openbmb/MiniCPM-V-4.7-1B;想在手机或桌面端侧跑,用 Ollama 执行ollama run openbmb/minicpm-v4.7,或用 llama.cpp 加载 GGUF 并搭配 DSpark 草稿头;服务端高吞吐用 vLLM 起 35B-A3B。
问题 4:MiniCPM-V 4.7 的 LES 前瞻专家调度会不会因为预测不准而降低模型效果?
回答 4:不会掉精度。LES 只改变专家预取和计算调度顺序,真实计算仍严格遵循模型原始路由,预测漏掉的专家被选中时照常加载评估;官方称实现 "无损推理",16× 视觉压缩后 MMBench 90.9、OCRBench 90.4 也证明能力没缩水。
问题 5:1B 版本和 35B-A3B 版本怎么选,各自适合什么场景?
回答 5:1B(1.55B 稠密)给资源紧张的边缘设备、垂直 OCR / 文档抽取场景;35B-A3B 每次仅激活约 3B、3GB 内存跑 13+ tokens/s,适合旗舰 / 中端手机上的强多模态理解、长视频、复杂文档和二次开发,两者都支持 256K 上下文和 4×/16× 视觉压缩切换。
【参考资料】
- [2026-10-19](openbmb/minicpm-v4.7:moe)Ollama
- [2026-10-17](iPhone 无损畅跑 35B 巨兽!面壁智能开源全球首个手机端 MoE 多模态大模型 MiniCPM-V 4.7:3GB 内存畅跑、前瞻专家调度 LES 与全链路加速工程实战)Prompt 语宙
- [2026-10-15](MiniCPM-V 4.7:iPhone 上的 35B MoE、LES 与本地部署)We0
- [2026-10-14](MiniCPM Day 0 Support Across AMD Hardware)AMD
- [2026-10-13](3G 内存装下 35B 多模态,AI 终端迎来巨变前夜)正观新闻
- [2026-10-12](MiniCPM-V 4.7: 35B MoE Runs on iPhone at 13+ tok/s)explainx.ai
- [无明确日期](MiniCPM-V 4.7・OpenBMB 官方模型页)OpenBMB
- [无明确日期](MiniCPM-V & o CookBook v4.7 Overview /llama.cpp 部署)OpenSQZ CookBook
【免责声明】
文中 13+ tokens/s、3GB 内存、17~19 tokens/s 等速度与内存数据均为 OpenBMB 官方在指定设备(iPhone 17 Pro Max、iPad Pro M4 16GB 等)上的自测结果,实际表现随机型、量化档、输入长度和任务负载变化;榜单成绩来自官方模型卡,不同测试口径可能有差异。本文仅作技术资讯整理与部署指引,不构成任何采购或投资建议,部署前请以官方 GitHub 与 HuggingFace/ModelScope 仓库的最新文档为准。
本文来自作者[束隧信标]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/rgzn/202611/4326.html
评论列表(4条)
我是江南网的签约作者“束隧信标”!
希望本篇文章《MiniCPM-V 4.7 端侧教程35B MoE 每次仅激活约 3B,iPhone 上跑出 13+ tokens/s 解码速度》能对你有所帮助!
本站[江南网]内容主要涵盖:互联网行业的追踪与探索
本文概览:先给结论:面壁智能(OpenBMB)开源的 MiniCPM-V 4 7 35B-A3B 是一个总参数 35 2B、但每个 token 只激活约 3B(约 3 5B)的 MoE