有海外玩家完成了一项很有看点的 AI 实验，不用任何独立显卡，只用一台搭载 40 核第三代至强的老服务器，搭配已经停产的英特尔傲腾持久内存，靠 llama.cpp 框架成功跑通 2.8 万亿参数的 Kimi K3 MoE 混合专家大模型，这个模型虽然总参数体量巨大，但它属于 MoE 架构，每次生成 token 只激活大约 1040 亿参数，再配合低比特量化压缩，才把内存门槛压到这台老服务器可以承载的范围，不过代价是推理速度很慢，它不是拿来日常办公、快速对话的生产方案，更多是验证超大模型在纯 CPU + 大容量持久内存这套组合上的可行性，同时也给想低成本本地跑超大模型的爱好者提供了一条新思路，但普通家用电脑基本复刻不了这套硬件条件。
一、整套硬件配置清单
- CPU：第三代英特尔至强可扩展处理器，40 核
- 加速硬件：无 GPU，全程 CPU 推理
- 内存：傲腾 PMem 200 系列持久内存，App Direct 模式部署
- 基础框架：llama.cpp
- 模型：Kimi K3（2.8 万亿参数 MoE 模型）
- 最低内存要求：量化版本需要约 610GB 内存空间
二、不同量化档位速度对比
| 量化规格 | 推理速度 | 备注 |
|---|---|---|
| 1-bit 量化 | 0.85 token/s | 关闭 DAX 模式可提升至 1.5 token/s |
| 3-bit 量化 | 0.75 token/s | 精度更高，速度进一步下降 |
三、能跑起来的核心原因
- 模型本身是 MoE 混合专家架构，不是所有参数同时参与计算，单次推理只激活一小部分专家参数，大幅降低实时计算压力。
- 傲腾持久内存容量大、单条容量高，二手价格远低于同容量普通服务器 DRAM，能低成本凑出几百 GB 的内存池放下量化后的模型权重。
- 低比特量化压缩，把模型权重体积压缩，原本原版模型体积巨大，经过 1bit、3bit 量化之后，才装进这套内存系统。
- llama.cpp 针对 CPU 平台做了大量矩阵运算优化，支持在纯 CPU 环境加载、调度大模型权重。
四、实操部署简要步骤
- 服务器主板、CPU 固件开启傲腾 PMem 支持，配置为 App Direct 模式，不要用 Memory Mode。
- 准备好 Kimi K3 对应的量化版本模型文件，核对模型文件完整性。
- 部署 llama.cpp 运行环境，编译适配至强 CPU 的版本，开启 AVX 指令集优化。
- 启动推理服务，指定傲腾内存作为模型加载存储位置，关闭 DAX 优化，提升吞吐。
- 启动测试对话，持续监控傲腾内存温度，傲腾模块发热很高，需要额外散热。
五、这套方案明显短板
- 速度极慢，每秒不到 1.5 个 token，长文本生成耗时非常久，几万 token 内容可能要十几个小时。
- 傲腾内存已经停产，货源都是二手，踩坑风险高，而且发热严重，散热没做好容易烧毁周边内存。
- 不适合商用，只能做技术实验、本地研究，没法拿来做日常对话、AI 绘图、批量处理。
- 对主板、CPU 兼容性要求苛刻，不是随便一台 40 核服务器都能识别和使用傲腾持久内存。
【相关 FAQ】
问题 1：不用显卡的 40 核老服务器跑的 2.8 万亿参数大模型是哪一款？
回答 1：这个 40 核老服务器无显卡跑起来的 2.8 万亿参数大模型是 Kimi K3，属于 MoE 混合专家架构大模型，每次推理只激活约 1040 亿参数。
问题 2：普通家用电脑能不能复刻这套 40 核老服务器无显卡跑 2.8 万亿参数大模型的方案？
回答 2：普通家用电脑基本无法复刻，这套方案依赖停产的傲腾持久内存，需要几百 GB 大容量内存，家用主板不支持傲腾 PMem，内存容量也达不到要求。
问题 3：40 核老服务器无显卡跑 2.8 万亿参数大模型，速度慢是什么原因？
回答 3：没有 GPU 并行加速，全部矩阵计算靠 CPU 单核、多核串行运算，加上傲腾内存读写延迟高于普通 DRAM，就算是 40 核至强，推理速度依然很低。
问题 4：40 核老服务器跑 2.8 万亿参数 Kimi K3，一定要用傲腾内存吗？
回答 4：本次实验里靠傲腾持久内存低成本凑齐几百 GB 容量，如果换成普通服务器 DRAM，容量达标成本会极高，普通 DRAM 方案理论上也能跑，但性价比很低。
【参考资料】
[2026-11-13]（不用显卡！一台 40 核老服务器跑起 2.8 万亿参数大模型）快科技
[2026-11-12]（Homelabber Runs Massive 2.8-Trillion-Parameter AI Model On Discontinued Intel Optane Memory, Without A GPU）Tom's Hardware
[2026-11-09]（2.8 трлн параметров на CPU: энтузиаст запустил Kimi K3 на Optane PMem 200）AiKraft
[2026-11-08]（Homelab Builder Runs 2.8T-Parameter AI Model on Optane Memory with CPU Only）Gate TR
【免责声明】
本文内容仅为爱好者实验信息整理科普，不代表成熟商用部署方案。40 核老服务器 + 傲腾内存本地跑 2.8 万亿参数大模型属于极限硬件实验，二手傲腾内存存在损坏、过热风险；模型部署、量化操作有技术门槛，不建议新手自行尝试；模型能力、输出效果受量化精度、硬件条件影响，不构成硬件采购、本地部署指导。