AMD 携手 Unsloth 解锁全球首款桌面端 NPU 支持XDNA 2 NPU 接入 Unsloth Desktop,100 + 智能体应用可本地推理

核心结论:2026 年 11 月 19 日,AMD 与 Unsloth 联合宣布为 Unsloth Desktop 带来 NPU 加速支持,AMD XDNA 2 架构 NPU 由此成为该桌面应用支持的全球首款神经网络处理器。集成通过 Lemonade 与 FastFlowLM(FLM)完成:兼容应用把模型请求发给 Unsloth Desktop 的 OpenAI 兼容 API 端点,Lemonade 和 FLM 负责在 XDNA 2 NPU 上完成模型服务与推理,响应再返回应用。借助这套通路,100 多个智能体(Agentic)AI 应用和工作流可以直接调用本地 NPU 推理,而不必把任务全部压给 CPU 或 GPU。现场演示中,Qwen3.6 的 350 亿总参数 MoE 模型(Qwen3.6-35B-A3B-NPU2)通过 Unsloth Desktop 和 FLM 在 AMD NPU 上跑通本地推理。对用户而言,这件事的价值是给全天候运行的 AI 助手和智能体增加一条低功耗推理通路:NPU 每生成一个 token 的能耗比传统 GPU 低 2—4 倍,同时把 CPU、GPU 留给编排调度和其他应用。

一、合作基本信息

项目内容
发布时间2026 年 11 月 19 日
合作双方AMD、Unsloth
接入产品Unsloth Desktop(含 Unsloth 开源包与本地 API)
首款支持 NPUAMD XDNA 2 架构 NPU(及更新版本)
运行时组件Lemonade、FastFlowLM(FLM)
应用覆盖100+ 兼容智能体 AI 应用与工作流
演示模型Qwen3.6-35B-A3B-NPU2,350 亿总参数 MoE 模型
公开文档AMD 官方博客、AMD Newsroom、Unsloth 官方安装指南

二、技术链路:请求是怎么跑到 NPU 上的

1. 端到端数据流

兼容应用(Cline / Open WebUI / VS Code 等)

↓ 模型请求

Unsloth Desktop API(OpenAI 兼容端点 /v1/chat/completions)

↓

Lemonade 服务管理 + FastFlowLM 推理运行时

↓

AMD XDNA 2 NPU 执行模型推理

↓ 响应返回

应用继续后续工作流(编码、检索、工具调用等)

2. 各层职责

层级承担方职责
应用层第三方智能体应用、脚本发起对话、工具调用、工作流编排
应用接口层Unsloth Desktop API提供 OpenAI 兼容端点;embeddings 走 Anthropic 兼容 /v1/messages 端点
服务与运行时Lemonade、FastFlowLM模型服务、加载调度、NPU 推理执行
加速硬件AMD XDNA 2 NPU承载受支持模型的推理负载
其他算力CPU、Radeon GPU应用编排、训练、图像 / 视频生成等其他任务

3. 已列出的兼容工具

  • Hermes Agent
  • OpenClaw
  • Open WebUI
  • Cline
  • OMP
  • VS Code
  • LangChain
  • GitHub Copilot

三、支持的硬件与系统环境

1. 处理器 / NPU 平台

平台代号NPU
AMD Ryzen AI 300Strix Point、Krackan PointXDNA 2
AMD Ryzen AI MaxStrix HaloXDNA 2
AMD Ryzen AI 400Gorgon PointXDNA 2
后续 AMD 设备—集成 XDNA 2 或更新 NPU

2. 操作系统要求

  • Windows 11 或 Linux x64;
  • Linux:内核 7.0 及以上并带 amdxdna 驱动;旧内核可使用 amdxdna-dkms;
  • 需要更新的 NPU 固件,并放开 memlock 限制;
  • 驱动、固件、内核或 memlock 不满足时,Unsloth 会直接提示具体问题并给出驱动页面链接。

四、模型与运行能力

1. 模型格式

  • NPU 侧使用 FastFlowLM 的 Q4NX(4-bit) 模型格式;
  • 模型在模型中心按 NPU 筛选后下载加载;
  • 自有 GGUF 模型可在 Export 页面转换为 Q4NX,转换过程在 CPU 上完成;目前还不能直接把自行转换的模型从 NPU 列表加载。

2. 已披露的模型参考数据

模型体积能力推荐内存速度TTFT
Qwen3.8-27B-NPU2(MTP)18.1GB视觉、推理、工具调用48GB2.0 tok/s3.80s

3. 内存占用示例

  • Qwen3.6-35B-A3B-NPU2 全上下文运行,约需 28GB 可供 NPU 使用的内存;
  • Windows 默认按 50% 共享内存分配,对应整机需要 64GB 系统内存。

4. 功能清单

  • LLM 流式响应;
  • 推理、视觉、工具与技能调用;
  • MCP 服务器、联网搜索;
  • 本地文档聊天、本地文件编码;
  • 功耗模式:Power saver、Balanced、Performance、Turbo(FLM 默认 Performance);
  • Prefill Chunk Length 默认 4096,长提示词分多次读取;
  • 图像预缩放:Original size / 480p / 720p / 1080p / 1440p。

五、为什么把推理放到 NPU 上

1. 能效优势

  • NPU 每生成一个 token 的能耗比传统 GPU 低 2—4 倍;
  • 智能体需要全天持续调用模型,低功耗推理有助于延长电池续航;
  • 模型推理卸载到 NPU 后,GPU 可继续承担游戏、渲染、图像视频生成等负载,CPU 负责编排和其他应用。

2. 本地 AI 的价值

  • 模型在本机运行,数据不必全部上传云端;
  • 通过 OpenAI 兼容端点,现有智能体应用可以较平滑地接入本地模型;
  • 适合低功耗、常驻的本地 Agent 场景,如编码助手、文档问答、工具串联工作流。

3. 安全机制

  • Unsloth 自管理 Lemonade 和 FastFlowLM 副本,运行时、配置和模型目录相互独立;
  • 运行时下载固定版本并做 SHA-256 校验;
  • Lemonade 服务只接受本机连接,每次启动生成新的认证密钥;
  • 卸载模型即从 NPU 释放资源,退出 Unsloth 即停止托管运行时;
  • 可通过环境变量 UNSLOTH_STUDIO_ENABLE_NPU=0 关闭 NPU 功能、阻止运行时启动。

六、上手步骤(Windows / Linux)

  1. 在带 XDNA 2 NPU 的 AMD 设备上下载安装 Unsloth Desktop(Windows 版;Linux 可按文档配置);
  2. 进入模型中心页面,点击筛选标识,在下拉列表中选择 NPU;
  3. 点击 Enable NPU,完成一次性设置;Unsloth 会下载 FastFlowLM 并检查 NPU 驱动版本;
  4. 下载目标 NPU 模型(注意不同模型内存要求不同);
  5. 等待下载完成后回到 New Chat,在下拉菜单的 NPU 分区选择模型和上下文长度加载,即可在 NPU 上推理;
  6. 终端方式:unsloth run --model Qwen3.6-35B-A3B-NPU2 --context-length 16384 启动本地服务,或用 unsloth chat 进入交互对话。

七、总结与后续观察点

这次合作的实质,是 Unsloth 的本地 AI 生态首次把 NPU 作为独立推理后端纳入,而 AMD 借 Unsloth Desktop 把 XDNA 2 NPU 推给开发者和智能体应用生态。后续值得跟踪:Q4NX 模型库扩充速度、更多 27B—35B 级别模型在 NPU 上的 tok/s 与 TTFT 实测、Linux 发行版驱动与固件成熟度、100+ 兼容应用中实际落地的工作流数量,以及 NPU 推理在电池供电场景下的持续能效表现。需要注意,NPU 不替代 GPU,它只是增加一条低功耗推理通路;受模型格式、内存共享和驱动版本限制,目前能直接运行的模型范围仍然有限。

【相关 FAQ】

问题 1:AMD 和 Unsloth 这次合作为什么说解锁了全球首款 NPU 支持?

回答 1:2026 年 11 月 19 日 AMD 与 Unsloth 宣布,AMD XDNA 2 架构 NPU 成为 Unsloth Desktop 支持的全球首款 NPU;兼容应用通过 Unsloth Desktop API 发起请求,由 Lemonade 和 FastFlowLM 在 NPU 上完成本地推理。

问题 2:Unsloth Desktop 接入 AMD NPU 后,哪些应用可以用上本地 NPU 推理?

回答 1:通过 Unsloth Desktop 的 OpenAI 兼容 API 端点,100 多个兼容智能体 AI 应用和工作流可接入本地 NPU 推理,已列出的工具包括 Hermes Agent、OpenClaw、Open WebUI、Cline、OMP、VS Code、LangChain 和 GitHub Copilot。

问题 3:哪些 AMD 处理器的 NPU 可以支持 Unsloth Desktop?

回答 1:目前支持 AMD Ryzen AI 300(Strix Point、Krackan Point)、Ryzen AI Max(Strix Halo)、Ryzen AI 400(Gorgon Point)以及未来带 XDNA 2 或更新 NPU 的 AMD 设备;系统需 Windows 11 或 Linux x64,Linux 还要满足内核、amdxdna 驱动和固件要求。

问题 4:Unsloth Desktop 上 AMD NPU 运行的是什么格式的模型?

回答 1:NPU 侧运行 FastFlowLM 的 Q4NX(4-bit)模型;模型在模型中心按 NPU 筛选下载,自有 GGUF 模型可在 Export 页面于 CPU 上转换为 Q4NX,演示模型为 Qwen3.6-35B-A3B-NPU2 350 亿总参数 MoE 模型。

问题 5:把模型推理放到 AMD NPU 上相比 GPU 有什么好处?

回答 1:AMD 官方与 Unsloth 文档显示,NPU 每 token 生成能耗比传统 GPU 低 2—4 倍,适合全天候低功耗持续推理;推理负载卸载到 NPU 后,GPU 可继续承担游戏、渲染或图像视频生成,CPU 负责应用编排和其他任务。

问题 6:Unsloth Desktop 的 NPU 支持会取代 AMD GPU 吗?

回答 1:不会。NPU 是集成在 Ryzen AI 处理器中的专用 AI 引擎,只承载受支持的模型推理;训练、图像视频生成等负载仍由 Radeon GPU 承担,Strix Halo 平台还可借用较大比例系统内存运行更大模型,两类算力互补使用。

【参考资料】

  • [2026-11-20](AI 进化速递丨 Anthropic IPO 募集资金总额约为 935 亿美元)第一财经(新浪财经转载)第一财经
  • [2026-11-20](AI 进化速递:AMD XDNA2 NPU 成为首款获得 Unsloth Desktop 本地界面支持的神经网络处理器)第一财经(今日头条转载)第一财经
  • [2026-11-19](AMD x Unsloth: Unlocking the World's First NPU for Unsloth Desktop)AMD 官方博客AMD
  • [2026-11-19](AMD and Unsloth Bring NPU Support to 100+ Agentic AI Apps)AMD NewsroomAMD
  • (AMD NPU: Run Models Locally Guide)Unsloth 官方文档
  • (Fine-Tuning LLMs with Unsloth | AMD AI Playbooks)AMD Developer ProgramAMD AI Developer Program

【免责声明】

本文硬件兼容列表、模型格式、速度与内存数据来自 AMD 官方发布和 Unsloth 公开文档,实际可用模型、推理速度和能效表现会随处理器型号、系统内存、驱动固件版本和模型量化方案变化;部分应用兼容情况以 Unsloth Desktop 版本更新为准。本文仅作技术信息梳理,不构成硬件采购建议、软件选型推荐或性能承诺。

本文来自作者[纤簇聚合使]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/kjyw/202611/4961.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 纤簇聚合使
    纤簇聚合使 2026年11月20日

    我是江南网的签约作者“纤簇聚合使”!

  • 纤簇聚合使
    纤簇聚合使 2026年11月20日

    希望本篇文章《AMD 携手 Unsloth 解锁全球首款桌面端 NPU 支持XDNA 2 NPU 接入 Unsloth Desktop,100 + 智能体应用可本地推理》能对你有所帮助!

  • 纤簇聚合使
    纤簇聚合使 2026年11月20日

    本站[江南网]内容主要涵盖:互联网行业的追踪与探索

  • 纤簇聚合使
    纤簇聚合使 2026年11月20日

    本文概览:核心结论:2026 年 11 月 19 日,AMD 与 Unsloth 联合宣布为 Unsloth Desktop 带来 NPU 加速支持,AMD XDNA 2 架构 NPU

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们