Perplexity 推出 Decider v1.3 重构 Attention把 "判断" 独立成专门模型,一次前向传播处理多任务

被黄仁勋称为 "几乎每天都在用" 的 Perplexity,这次把 AI 系统里最常见的 "判断" 环节单独做成了一套模型。Perplexity 正式推出 Decider v1.3(同时还有轻量版 Decider Flash v1.3),不再让通用大模型靠反复生成文本、再解析结果来做分类和筛选,而是用一套专门的决策模型直接输出候选项概率。它的做法是:同一份上下文可以同时交给多个问题使用,模型只做一次前向传播就能给出各个问题的答案概率;为了让多个问题共享计算时互不干扰,团队重新设计了 Attention 机制,让共享状态读取全部问题,同时切断问题之间的直接信息交换。v1.3 还加入了 Locate 能力,可以按字段描述直接定位原文片段,把判断和文本抽取整合进同一套架构。这套模型已经进入 Perplexity 生产系统,在一次内部安全审查中单日处理了 7000 个 Agent 会话、累计读取 10 亿 token,并推动了 14 项规则修复。

一、为什么要把 "判断" 做成独立模型

在 Agent 和应用系统里,有大量任务本质上是边界清楚的判断:是不是违规、属于哪一类、意图是什么、要不要过滤、内容和实体是否匹配、该给什么评分。这类任务过去通常的做法是反复调用通用 LLM,让它生成一段文本回答,再由外部程序解析成结构化结论,流程长、成本高,还容易受生成内容波动影响。

Decider 的思路是把这部分能力从通用生成里拆出来:

  • 输出直接是概率:模型针对预设候选项(是 / 否、自定义选项、有序评分)输出概率分布,应用再按业务代价设置决策阈值,不需要生成自由文本。
  • 一份上下文复用多次判断:同一段网页、文档或 Agent 执行记录作为共享状态,多个问题放进同一次前向传播,节省长文本被重复编码的开销,以及逐 Token 解码和外部解析的成本。
  • 一套输入协议覆盖多类任务:情感分析、自然语言推理、意图检测、实体匹配、内容审核、事实核查、评分等,都用同一套 State + Question + 选项格式,不必为每种任务单独搭建模型结构。

需要说明的是,增加问题仍然会增加问题侧 Token 和注意力计算,Decider 节省的主要是长文本重复编码和生成式解码、外部解析的成本;共享文本越长、并行问题越多,复用价值越明显。

二、输入与输出是怎么组织的

环节设计方式
共享状态 State保存网页、文档或 Agent 执行记录,是多个问题共用的上下文
问题块 Question描述具体判断目标,并列明候选答案,选项映射到 A、B、C 等预定义标签 Token
答案标记特殊 <|marker|> Token 标记答案读取位置
决策头由基础模型原有语言模型输出层改造:保留候选标签对应的权重行,移除其余词表输出权重,再针对决策任务训练
输出提取 Marker 位置隐藏状态,由决策头计算各候选项分数并转为概率分布
业务侧调整模型只给概率,阈值由应用按误报、漏报代价自行设定,不同业务可用不同门槛

三、Attention 重构:双向注意力 + 隔离式问题注意力

这是理解 Decider 架构最关键的部分,改动分两步。

1. 从因果注意力改成双向注意力

Decider 以生成式 LLM 为骨干。原来的因果注意力按文本顺序组织信息,当前位置只能读取自身及前面的 Token,适合逐步生成文本,但判断任务需要看到完整上下文。Perplexity 因此把全注意力层改为双向注意力,让 Token 可以读取完整输入;消融实验显示,这一调整改善了模型的决策表现。

2. v1.3 的 Isolated Question Attention(隔离式问题注意力)

双向注意力开放了完整上下文,但也带来新问题:多个问题之间会出现信息交互。

版本注意力连接关系存在的问题
v1.2 完全互见State 和全部 Question 可以相互读取某个问题的表示可能受其他问题影响,调用方调整问题组合时,原有判断会跟着变化
v1.3 隔离式State 可以读取全部 Question;每个 Question 只能读取 State 和自身 Token,不能直接读取其他问题切断问题间直接传递局部表示的路径,让答案更稳定

这里有两个容易误解的细节:

  • State 不只是文本容器:它还承担跨任务信息汇聚作用,读取整组问题后,在多层注意力计算中形成包含任务条件的上下文表示;每个 Question 通过 State 获取相关信息,同时保留自身任务描述。
  • 隔离不等于数学上完全独立:切断的是 Question 之间的直接注意力连接。由于 State 已经读取了其他问题的信息,经过多层 Transformer 传播,问题 A 的信息仍可能先进入 State 的后续表示,再被问题 B 读取。

团队还测试过另一种完全可缓存结构:State 只读取自身内容,Question 再读取 State 和自身 Token。这样同一段文本可以在不同请求间复用缓存,但代价是 State 编码时看不到任务要求,无法根据当前问题调整上下文表示。Perplexity 最终选择隔离式问题注意力,保留问题对上下文的条件作用。

稳定性验证:在 372 道多项选择题上做标签扰动测试,改变选项顺序、标签映射和标签名称后,Decider v1.3 只有 0.27% 的问题发生语义答案变化;对比模型 Jev 1.14 的变化比例为 2.69% 至 4.84%。相同输入重复执行时,v1.3 输出保持一致。

四、Locate:从选项判断扩展到文本跨度抽取

普通决策头的输出范围被预设选项限定,遇到 "从原文找出一段未知长度文本" 的任务就不够用了。v1.3 为此增加 Locate 能力。

  • 新增组件:<|locate|> Token、跨度头(Span Head)和 LoRA 适配器;每个待抽取字段拥有独立的 Locate Token,其嵌入由此前训练得到的 Marker 表示初始化。
  • 评分方式:跨度头结合 Locate Token 与 State 中各 Token 的隐藏表示,对候选片段的起点、终点以及两端配对关系分别评分,同时为字段生成专属阈值;起点、终点高分并不等于属于同一段合理文本,配对关系需要单独学习。
  • 返回结果:模型返回原文字符区间(起止位置),下游程序直接读取对应内容;原文没有对应字段时,模型抬高阈值,使候选片段无法通过筛选,返回空列表。
  • 训练目标:采用改进版 InfoNCE,让正确跨度分数高于阈值,阈值高于其他候选跨度;数据覆盖命名实体识别、PII 检测和抽取式问答,字段描述既有简短标签也有自然语言指令。
  • 参数隔离:决策头学习候选选项概率分布,跨度头学习文本边界和片段配对,两者对内部表示的要求不同。团队发现把 Locate 适配器合并进主干后普通决策请求会退化,因此保留独立 LoRA 适配器,只在文本定位任务中启用。

五、模型版本、训练方式与评测结果

两个版本的骨干与规模

版本骨干模型权重规模获取方式
Decider v1.3(大模型)Qwen3.8-27B约 49 GiB BF16Apache-2.0 开放权重,可经 OpenRouter 和 Perplexity Decisions API 使用
Decider Flash v1.3Qwen3.5-4B约 8.5 GiB由大模型蒸馏获得,硬件占用更小

训练流程

  • 大模型先做大规模通用全量微调,并排除公开评测基准的训练划分;随后通过 LoRA 加入领域任务,再做视觉适配;文本阶段对三个不同随机种子的训练权重取平均。
  • Flash 版本通过 KL 散度拟合教师模型的完整概率分布,而不只学习正确标签;相比只学标签,分布蒸馏保留了其他候选项的相对置信程度,团队称在留出任务上泛化表现优于标准交叉熵目标。

公开评测数据

评测项Decider v1.3 表现对比基准
63 项分类任务平均准确率91.6%比 Perplexity 原有生产分类器高 6.54 个百分点
72 项检索任务逐点重排 nDCG@1083.99比 Qwen3-Reranker-8B 高 1.81 分
八种语言任务平均准确率88.16%Jev 1.14 为 85.41%
Locate 17 项域外任务得分69.0(Flash 为 63.6)—
生产请求与前沿 LLM 评判一致性93.98%v1.2 为 93.68%,Jev 1.14 为 93.35%

生产评估覆盖 API 上线后前 18 天的一百万条请求,去重后包含 2,318,887 个问题;由于生产请求缺少人工标注,团队使用前沿 LLM 评判模型生成参考答案。需要注意,93.98% 反映的是模型与评判模型的吻合程度,不能直接等同于人工标注下的真实准确率。

六、适用边界与后续判断

Decider 这套架构适合边界清楚的分类、路由、审核、筛选、评估和重排任务;对于开放式推理和复杂规划,通用 LLM 仍然有自己的优势。它给 Agent 系统提供了一种值得继续验证的分工思路:通用 LLM 负责复杂理解与生成,边界明确的判断交给专门模型。两者最终能否形成更合适的协作方式,还需要结合真实工作负载中的延迟、资源消耗和任务表现进一步检验;实际收益也取决于任务类型、上下文长度、并行问题数量和部署成本。

【相关 FAQ】

问题 1:Perplexity 的 Decider v1.3 为什么要把 "判断" 做成一个独立模型,和直接用通用 LLM 有什么区别?

回答 1:Perplexity 把判断独立成 Decider 这类专门模型,是因为分类、审核、意图识别、实体匹配、评分等任务只需要明确的结构化结论,不需要自由文本。通用 LLM 通常要反复生成文本再由外部解析,而 Decider 直接输出候选项概率,配合重构后的 Attention 让多问题共享同一份上下文做一次前向传播,减少重复编码和解码、解析成本;它更适合边界清楚的判断,开放式复杂推理仍由通用 LLM 承担。

问题 2:Decider v1.3 重构 Attention 具体改了什么,隔离式问题注意力是怎么工作的?

回答 2:Decider v1.3 先把骨干模型原本的因果注意力改为双向注意力,让 Token 能读取完整上下文;再引入隔离式问题注意力:共享状态 State 可以读取全部 Question,而每个 Question 只能读取 State 和自身 Token,不能直接读取其他问题。这样多个问题共享计算时不会互相直接干扰,答案更稳定。要注意隔离切断的是直接注意力连接,经 State 多层传播仍可能存在间接影响,并非数学意义上完全独立。

问题 3:Decider v1.3 的 Locate 能力是做什么的,和普通判断输出有什么不同?

回答 3:普通 Decider 判断只能在预设 A、B、C 选项里选答案,Locate 则把输出扩展到原文片段抽取:它通过 Locate Token、跨度头和独立 LoRA 适配器,对候选文本的起点、终点和配对关系评分,返回带字符起止位置的原文区间,用于命名实体识别、PII 检测和抽取式问答;找不到匹配字段时返回空列表。Locate 适配器独立启用,避免影响普通判断请求。

问题 4:Perplexity Decider v1.3 有哪些版本,实际效果和获取渠道如何?

回答 4:Decider v1.3 大模型以 Qwen3.8-27B 为骨干,约 49 GiB BF16;轻量版 Decider Flash v1.3 以 Qwen3.5-4B 为骨干,约 8.5 GiB,由大模型 KL 蒸馏得到。评测中 v1.3 在 63 项分类任务平均准确率 91.6%,检索重排 nDCG@10 为 83.99;模型以 Apache-2.0 开放权重,可通过 OpenRouter 和 Perplexity Decisions API 使用。相关一致性数据是与评判 LLM 的吻合度,不等同于人工标注准确率。

【参考资料】

  • [2026-11-19](黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型)新浪科技(转雷锋网)
  • [2026-11-15](Perplexity Releases Decider v1.3: Open-Weight Decision Models Add Locate)AIVERSE NEWS
  • [2026-11-12](Perplexity Releases Decider V1.3 Models with Text-Span Extraction)Unite.AI
  • [2026-02-27](黄仁勋每天都用的 AI 工具,要抢金融行业饭碗了?)36 氪

【免责声明】

本文内容基于公开网络资料及 Perplexity 公开技术信息整理,模型规格、评测数据、性能对比和成本说法均来自厂商披露与媒体报道,部分评测以 LLM 评判替代人工标注,结论存在口径局限;不同任务、上下文长度和部署环境下实际表现可能不同。本文不构成投资建议、采购建议或模型选型承诺,引用的第三方模型名称、基准结果归各自所有方所有,读者请以 Perplexity 官方模型卡与正式发布内容为准。

本文来自作者[频流解序者]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/rgzn/202611/4606.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 频流解序者
    频流解序者 2026年11月19日

    我是江南网的签约作者“频流解序者”!

  • 频流解序者
    频流解序者 2026年11月19日

    希望本篇文章《Perplexity 推出 Decider v1.3 重构 Attention把 "判断" 独立成专门模型,一次前向传播处理多任务》能对你有所帮助!

  • 频流解序者
    频流解序者 2026年11月19日

    本站[江南网]内容主要涵盖:互联网行业的追踪与探索

  • 频流解序者
    频流解序者 2026年11月19日

    本文概览:被黄仁勋称为 "几乎每天都在用" 的 Perplexity,这次把 AI 系统里最常见的 "判断" 环节单独做成了一套模型。Perplexity 正式推出

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们