丹麦奥尔堡大学一篇入选 NeurIPS 2026 的论文专门对比扩散语言模型和自回归语言模型的数据记忆与隐私泄露情况,在同等参数、前缀补全攻击的实验条件下,扩散模型直接泄露邮箱、手机号这类个人敏感信息的概率明显更低,但它的泄露风险会跟着采样步数变化,采样粒度越细、逐词恢复模式下,泄露概率会大幅上涨,不能简单认定扩散模型就是绝对安全。两种模型生成机制不一样,自回归模型是从左往右逐个预测下一个 token,很容易顺着上下文把训练集里记住的完整隐私信息一次性吐出来;扩散语言模型是掩码填空迭代去噪,原生不是顺序生成,天然降低了直接复述训练原文的概率,不过它支持任意位置掩码填空,攻击思路和传统自回归模型不一样,存在另外一套泄露路径。研究团队搭建对照实验,选用 1.1B 参数的扩散模型和同规模自回归模型,拿 3000 条邮箱样本做提取测试,控制查询上限 10000 次,统计能成功还原隐私信息的样本数量,同时额外测试 LLaDA-8B 扩散模型,对比一步生成和多步逐词恢复两种采样策略的差异。论文给出一条核心结论:采样分辨率越高、去噪步数越多,扩散模型记忆泄露的概率越高,逐词恢复模式下的扩散模型泄露风险会暴涨,甚至接近自回归模型水平。这份实验结论只覆盖前缀补全攻击场景,不代表所有攻击场景都成立,扩散模型在双向填空类攻击下的隐私风险还没有被充分评估,落地的时候依然要做隐私审计、数据脱敏。整体来看,在常规前缀提取场景里扩散模型隐私表现更好,但采样策略是控制它泄露风险的关键开关,选型不能只看模型类别,还要结合采样配置一起评估。
论文核心实验信息清单
- 论文标题:Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects
- 研究单位:丹麦奥尔堡大学,入选 NeurIPS 2026
- 对照模型:1.1B 参数扩散语言模型、1.1B 参数自回归模型、LLaDA-8B 扩散模型
- 攻击方式:前缀补全,目标提取邮箱、手机号等 PII 隐私信息
- 核心实验数据:达到 50% 提取成功率门槛,扩散模型仅 16 个样本,自回归模型 213 个样本
- 采样变量:LLaDA-8B 一步恢复泄露样本 9 个,切换逐词恢复后涨到 179 个,风险提升近 20 倍
- 核心定理:采样分辨率和训练数据提取概率单调正相关;自回归可以看作扩散模型采样粒度拉满的极限情况
- 局限:仅验证前缀补全场景,双向填空等其他攻击方式风险未纳入本次对比
研究带来的影响
- 模型选型层面:做隐私敏感业务,同等条件下优先选扩散语言模型,但必须限制精细多步采样
- 安全审计层面:评估扩散模型隐私风险不能只看架构,采样参数、解码策略要纳入审计范围
- 攻击研究层面:扩散模型有区别于自回归模型的全新攻击面,双向掩码填空场景仍有潜在泄露隐患
- 行业认知层面:打破 “扩散模型一定安全” 或者 “扩散模型和自回归泄露风险差不多” 的简单认知
【相关 FAQ】
问题 1:NeurIPS 2026 奥尔堡大学论文对比扩散模型和自回归模型隐私泄露,哪个泄露更多?
回答 1:在论文的前缀补全实验条件下,同参数的自回归模型隐私泄露更多;但扩散模型开启逐词细粒度采样之后,泄露风险会快速升高,不能永久认为扩散模型更安全。
问题 2:NeurIPS 2026 这项研究里,扩散模型隐私泄露风险为什么会受采样步数影响?
回答 2:NeurIPS 2026 奥尔堡大学论文证明,扩散模型采样分辨率越高、去噪步数越多,还原训练集中隐私内容的概率越高,逐词恢复这种高分辨率采样会把泄露风险拉高很多。
问题 3:NeurIPS 2026 这篇扩散模型与自回归模型隐私泄露研究,结论可以直接套用到所有场景吗?
回答 3:NeurIPS 2026 这项扩散模型、自回归模型隐私泄露对比实验只基于前缀补全攻击,扩散模型双向填空场景还有别的攻击路径,结论不能直接覆盖全部攻击场景。
问题 4:NeurIPS 2026 论文里扩散模型隐私表现更好,是不是可以直接用扩散模型处理敏感数据?
回答 4:NeurIPS 2026 论文显示前缀攻击下扩散模型隐私泄露更低,但扩散模型依然存在记忆泄露风险,处理敏感数据还要搭配数据脱敏、隐私审计、限制采样策略等防护手段。
【参考资料】
[2026-11-16](NeurIPS 2026|扩散模型和自回归模型谁的隐私泄露更多?奥尔堡大学揭示扩散语言模型的记忆行为)机器之心 Pro
[2026-11-16](Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects)arXiv
[2026-11-16](NeurIPS 2026 论文解读:扩散大模型记忆与隐私提取风险)新浪财经
[2026-11-16](奥尔堡大学 AAU-NLP 团队 NeurIPS 2026 论文介绍)Johannes Bjerva 个人主页
[2026-11-16](扩散语言模型 DLM 和自回归 LLM 隐私风险差异分析)AI 科技评论
【免责声明】
本内容仅整理 NeurIPS 2026 论文公开实验结论与媒体解读,扩散模型、自回归模型的隐私泄露结论限定在本次实验的前缀补全条件内;不同攻击方式、数据集、模型规模都会改变风险结果,内容仅作学术资讯参考,不构成模型选型、隐私方案落地建议,敏感业务上线前务必独立开展隐私安全测试。
