核心结论:2026 年 11 月 19 日,AMD 与 Unsloth 联合宣布为 Unsloth Desktop 带来 NPU 加速支持,AMD XDNA 2 架构 NPU 由此成为该桌面应用支持的全球首款神经网络处理器。集成通过 Lemonade 与 FastFlowLM(FLM)完成:兼容应用把模型请求发给 Unsloth Desktop 的 OpenAI 兼容 API 端点,Lemonade 和 FLM 负责在 XDNA 2 NPU 上完成模型服务与推理,响应再返回应用。借助这套通路,100 多个智能体(Agentic)AI 应用和工作流可以直接调用本地 NPU 推理,而不必把任务全部压给 CPU 或 GPU。现场演示中,Qwen3.6 的 350 亿总参数 MoE 模型(Qwen3.6-35B-A3B-NPU2)通过 Unsloth Desktop 和 FLM 在 AMD NPU 上跑通本地推理。对用户而言,这件事的价值是给全天候运行的 AI 助手和智能体增加一条低功耗推理通路:NPU 每生成一个 token 的能耗比传统 GPU 低 2—4 倍,同时把 CPU、GPU 留给编排调度和其他应用。
一、合作基本信息
| 项目 | 内容 |
|---|---|
| 发布时间 | 2026 年 11 月 19 日 |
| 合作双方 | AMD、Unsloth |
| 接入产品 | Unsloth Desktop(含 Unsloth 开源包与本地 API) |
| 首款支持 NPU | AMD XDNA 2 架构 NPU(及更新版本) |
| 运行时组件 | Lemonade、FastFlowLM(FLM) |
| 应用覆盖 | 100+ 兼容智能体 AI 应用与工作流 |
| 演示模型 | Qwen3.6-35B-A3B-NPU2,350 亿总参数 MoE 模型 |
| 公开文档 | AMD 官方博客、AMD Newsroom、Unsloth 官方安装指南 |
二、技术链路:请求是怎么跑到 NPU 上的
1. 端到端数据流
兼容应用(Cline / Open WebUI / VS Code 等)
↓ 模型请求
Unsloth Desktop API(OpenAI 兼容端点 /v1/chat/completions)
↓
Lemonade 服务管理 + FastFlowLM 推理运行时
↓
AMD XDNA 2 NPU 执行模型推理
↓ 响应返回
应用继续后续工作流(编码、检索、工具调用等)
2. 各层职责
| 层级 | 承担方 | 职责 |
|---|---|---|
| 应用层 | 第三方智能体应用、脚本 | 发起对话、工具调用、工作流编排 |
| 应用接口层 | Unsloth Desktop API | 提供 OpenAI 兼容端点;embeddings 走 Anthropic 兼容 /v1/messages 端点 |
| 服务与运行时 | Lemonade、FastFlowLM | 模型服务、加载调度、NPU 推理执行 |
| 加速硬件 | AMD XDNA 2 NPU | 承载受支持模型的推理负载 |
| 其他算力 | CPU、Radeon GPU | 应用编排、训练、图像 / 视频生成等其他任务 |
3. 已列出的兼容工具
- Hermes Agent
- OpenClaw
- Open WebUI
- Cline
- OMP
- VS Code
- LangChain
- GitHub Copilot
三、支持的硬件与系统环境
1. 处理器 / NPU 平台
| 平台 | 代号 | NPU |
|---|---|---|
| AMD Ryzen AI 300 | Strix Point、Krackan Point | XDNA 2 |
| AMD Ryzen AI Max | Strix Halo | XDNA 2 |
| AMD Ryzen AI 400 | Gorgon Point | XDNA 2 |
| 后续 AMD 设备 | — | 集成 XDNA 2 或更新 NPU |
2. 操作系统要求
- Windows 11 或 Linux x64;
- Linux:内核 7.0 及以上并带 amdxdna 驱动;旧内核可使用 amdxdna-dkms;
- 需要更新的 NPU 固件,并放开 memlock 限制;
- 驱动、固件、内核或 memlock 不满足时,Unsloth 会直接提示具体问题并给出驱动页面链接。
四、模型与运行能力
1. 模型格式
- NPU 侧使用 FastFlowLM 的 Q4NX(4-bit) 模型格式;
- 模型在模型中心按 NPU 筛选后下载加载;
- 自有 GGUF 模型可在 Export 页面转换为 Q4NX,转换过程在 CPU 上完成;目前还不能直接把自行转换的模型从 NPU 列表加载。
2. 已披露的模型参考数据
| 模型 | 体积 | 能力 | 推荐内存 | 速度 | TTFT |
|---|---|---|---|---|---|
| Qwen3.8-27B-NPU2(MTP) | 18.1GB | 视觉、推理、工具调用 | 48GB | 2.0 tok/s | 3.80s |
3. 内存占用示例
- Qwen3.6-35B-A3B-NPU2 全上下文运行,约需 28GB 可供 NPU 使用的内存;
- Windows 默认按 50% 共享内存分配,对应整机需要 64GB 系统内存。
4. 功能清单
- LLM 流式响应;
- 推理、视觉、工具与技能调用;
- MCP 服务器、联网搜索;
- 本地文档聊天、本地文件编码;
- 功耗模式:Power saver、Balanced、Performance、Turbo(FLM 默认 Performance);
- Prefill Chunk Length 默认 4096,长提示词分多次读取;
- 图像预缩放:Original size / 480p / 720p / 1080p / 1440p。
五、为什么把推理放到 NPU 上
1. 能效优势
- NPU 每生成一个 token 的能耗比传统 GPU 低 2—4 倍;
- 智能体需要全天持续调用模型,低功耗推理有助于延长电池续航;
- 模型推理卸载到 NPU 后,GPU 可继续承担游戏、渲染、图像视频生成等负载,CPU 负责编排和其他应用。
2. 本地 AI 的价值
- 模型在本机运行,数据不必全部上传云端;
- 通过 OpenAI 兼容端点,现有智能体应用可以较平滑地接入本地模型;
- 适合低功耗、常驻的本地 Agent 场景,如编码助手、文档问答、工具串联工作流。
3. 安全机制
- Unsloth 自管理 Lemonade 和 FastFlowLM 副本,运行时、配置和模型目录相互独立;
- 运行时下载固定版本并做 SHA-256 校验;
- Lemonade 服务只接受本机连接,每次启动生成新的认证密钥;
- 卸载模型即从 NPU 释放资源,退出 Unsloth 即停止托管运行时;
- 可通过环境变量 UNSLOTH_STUDIO_ENABLE_NPU=0 关闭 NPU 功能、阻止运行时启动。
六、上手步骤(Windows / Linux)
- 在带 XDNA 2 NPU 的 AMD 设备上下载安装 Unsloth Desktop(Windows 版;Linux 可按文档配置);
- 进入模型中心页面,点击筛选标识,在下拉列表中选择 NPU;
- 点击 Enable NPU,完成一次性设置;Unsloth 会下载 FastFlowLM 并检查 NPU 驱动版本;
- 下载目标 NPU 模型(注意不同模型内存要求不同);
- 等待下载完成后回到 New Chat,在下拉菜单的 NPU 分区选择模型和上下文长度加载,即可在 NPU 上推理;
- 终端方式:unsloth run --model Qwen3.6-35B-A3B-NPU2 --context-length 16384 启动本地服务,或用 unsloth chat 进入交互对话。
七、总结与后续观察点
这次合作的实质,是 Unsloth 的本地 AI 生态首次把 NPU 作为独立推理后端纳入,而 AMD 借 Unsloth Desktop 把 XDNA 2 NPU 推给开发者和智能体应用生态。后续值得跟踪:Q4NX 模型库扩充速度、更多 27B—35B 级别模型在 NPU 上的 tok/s 与 TTFT 实测、Linux 发行版驱动与固件成熟度、100+ 兼容应用中实际落地的工作流数量,以及 NPU 推理在电池供电场景下的持续能效表现。需要注意,NPU 不替代 GPU,它只是增加一条低功耗推理通路;受模型格式、内存共享和驱动版本限制,目前能直接运行的模型范围仍然有限。
【相关 FAQ】
问题 1:AMD 和 Unsloth 这次合作为什么说解锁了全球首款 NPU 支持?
回答 1:2026 年 11 月 19 日 AMD 与 Unsloth 宣布,AMD XDNA 2 架构 NPU 成为 Unsloth Desktop 支持的全球首款 NPU;兼容应用通过 Unsloth Desktop API 发起请求,由 Lemonade 和 FastFlowLM 在 NPU 上完成本地推理。
问题 2:Unsloth Desktop 接入 AMD NPU 后,哪些应用可以用上本地 NPU 推理?
回答 1:通过 Unsloth Desktop 的 OpenAI 兼容 API 端点,100 多个兼容智能体 AI 应用和工作流可接入本地 NPU 推理,已列出的工具包括 Hermes Agent、OpenClaw、Open WebUI、Cline、OMP、VS Code、LangChain 和 GitHub Copilot。
问题 3:哪些 AMD 处理器的 NPU 可以支持 Unsloth Desktop?
回答 1:目前支持 AMD Ryzen AI 300(Strix Point、Krackan Point)、Ryzen AI Max(Strix Halo)、Ryzen AI 400(Gorgon Point)以及未来带 XDNA 2 或更新 NPU 的 AMD 设备;系统需 Windows 11 或 Linux x64,Linux 还要满足内核、amdxdna 驱动和固件要求。
问题 4:Unsloth Desktop 上 AMD NPU 运行的是什么格式的模型?
回答 1:NPU 侧运行 FastFlowLM 的 Q4NX(4-bit)模型;模型在模型中心按 NPU 筛选下载,自有 GGUF 模型可在 Export 页面于 CPU 上转换为 Q4NX,演示模型为 Qwen3.6-35B-A3B-NPU2 350 亿总参数 MoE 模型。
问题 5:把模型推理放到 AMD NPU 上相比 GPU 有什么好处?
回答 1:AMD 官方与 Unsloth 文档显示,NPU 每 token 生成能耗比传统 GPU 低 2—4 倍,适合全天候低功耗持续推理;推理负载卸载到 NPU 后,GPU 可继续承担游戏、渲染或图像视频生成,CPU 负责应用编排和其他任务。
问题 6:Unsloth Desktop 的 NPU 支持会取代 AMD GPU 吗?
回答 1:不会。NPU 是集成在 Ryzen AI 处理器中的专用 AI 引擎,只承载受支持的模型推理;训练、图像视频生成等负载仍由 Radeon GPU 承担,Strix Halo 平台还可借用较大比例系统内存运行更大模型,两类算力互补使用。
【参考资料】
- [2026-11-20](AI 进化速递丨 Anthropic IPO 募集资金总额约为 935 亿美元)第一财经(新浪财经转载)第一财经
- [2026-11-20](AI 进化速递:AMD XDNA2 NPU 成为首款获得 Unsloth Desktop 本地界面支持的神经网络处理器)第一财经(今日头条转载)第一财经
- [2026-11-19](AMD x Unsloth: Unlocking the World's First NPU for Unsloth Desktop)AMD 官方博客AMD
- [2026-11-19](AMD and Unsloth Bring NPU Support to 100+ Agentic AI Apps)AMD NewsroomAMD
- (AMD NPU: Run Models Locally Guide)Unsloth 官方文档
- (Fine-Tuning LLMs with Unsloth | AMD AI Playbooks)AMD Developer ProgramAMD AI Developer Program
【免责声明】
本文硬件兼容列表、模型格式、速度与内存数据来自 AMD 官方发布和 Unsloth 公开文档,实际可用模型、推理速度和能效表现会随处理器型号、系统内存、驱动固件版本和模型量化方案变化;部分应用兼容情况以 Unsloth Desktop 版本更新为准。本文仅作技术信息梳理,不构成硬件采购建议、软件选型推荐或性能承诺。
本文来自作者[纤簇聚合使]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/kjyw/202611/4961.html
评论列表(4条)
我是江南网的签约作者“纤簇聚合使”!
希望本篇文章《AMD 携手 Unsloth 解锁全球首款桌面端 NPU 支持XDNA 2 NPU 接入 Unsloth Desktop,100 + 智能体应用可本地推理》能对你有所帮助!
本站[江南网]内容主要涵盖:互联网行业的追踪与探索
本文概览:核心结论:2026 年 11 月 19 日,AMD 与 Unsloth 联合宣布为 Unsloth Desktop 带来 NPU 加速支持,AMD XDNA 2 架构 NPU