最强 Agent 测试方案一题配 4 正确答案 + 5 错误答案，整体全过关率仅 28%

业内针对最强 Agent 做了一套难度很高的评测方案，规则是每一道测试题目，配套准备 4 份正确答案以及 5 份错误答案，Agent 需要自主识别区分、选出全部正确选项，这套测试下最终全过关比例只有 28%，这个结果说明现在看起来能力很强的 Agent，在多候选混杂、真假答案混排的场景里，稳定分辨对错的能力远没有宣传的那么强，不是简单答对单条就可以，必须把 4 个正确全部挑出来、同时避开 5 个错误答案，漏选、错选任意一个都会判定本次测试失败，很多 Agent 容易出现漏选正确答案、把迷惑性强的错误答案判定为正确的情况，这类评测和普通单题单选测试完全不一样，更贴近真实业务里信息混杂、真假信息交织的场景，用来暴露 Agent 的幻觉、边界判断、信息甄别短板。

普通单选测试和本次 Agent 评测方案对比

这套一题 4 正 5 错测试的核心设计思路

• 正确答案是同一问题下不同表述、不同角度的有效解法，都满足题意，不是只有唯一标准答案
• 5 份错误答案会设计不同类型陷阱：部分正确但关键条件缺失、逻辑倒置、数据幻觉、偷换前提、看似通顺但结论错误
• 不允许 Agent 只找到一个正确就结束，要求完整召回全部有效答案，同时过滤所有错误候选
• 评测指标严格以 “全过关” 统计，部分答对不计入合格，拉高评测门槛，避免虚高的能力分数

Agent 执行这套测试的标准流程

1. 接收题干，读取全部 9 份候选文本，区分候选编号
2. 逐条推理核验每一份答案，判断是否符合题干要求
3. 收集所有判定为正确的候选，同时标记错误候选
4. 输出最终选择集合，系统校验：是否刚好选中 4 个正确、没有混入错误
5. 满足条件标记为全过关；漏选、多选错误项直接判定失败
6. 汇总大量题目结果，统计整体全过关率，本次统计结果 28%

暴露出来的 Agent 典型问题清单

• 召回不足：只能找到 1~2 个正确答案，漏掉剩下的正确选项
• 幻觉误判：被话术流畅的错误答案迷惑，把错误候选当成正确答案选中
• 边界模糊：分不清 “部分成立” 和 “完全成立”，把有缺陷的答案判定合规
• 稳定性差：同一道题多次跑，选择结果前后不一致，随机性强
• 优先级混乱：习惯找单一最优解，不适应多正确答案的任务范式

【相关 FAQ】

问题 1：最强 Agent 的这套测试一题配 4 份正确答案和 5 份错误答案，全过关率是多少？

回答 1：最强 Agent 这套一题配 4 份正确答案和 5 份错误答案的测试，最终全过关率只有 28%，必须选对全部 4 个正确且不选 5 个错误才算过关。

问题 2：最强 Agent 一题 4 正 5 错的测试，什么样的情况不算全过关？

回答 2：最强 Agent 一题 4 正 5 错的测试，只要漏掉任意一份正确答案，或是误选任意一份错误答案，都不能算作全过关，标准非常严格。

问题 3：最强 Agent 一题 4 正 5 错测试，错误答案一般会做哪些陷阱设计？

回答 3：最强 Agent 一题 4 正 5 错测试里的 5 份错误答案，常见陷阱包括关键条件缺失、逻辑颠倒、编造虚假数据、偷换题干前提、语句通顺但结论不成立。

问题 4：最强 Agent 一题 4 正 5 错测试，和普通单选题评测最大差别在哪？

回答 4：最强 Agent 一题 4 正 5 错测试存在多个有效正确答案，目标是完整召回全部正确选项并过滤错误项；普通单选只需要选出唯一正确选项，难度更低。

问题 5：最强 Agent 一题 4 正 5 错、28% 通过率的测试，主要用来检验 Agent 什么能力？

回答 5：最强 Agent 一题 4 正 5 错、28% 通过率的测试，重点检验 Agent 的信息甄别能力、幻觉抑制能力、多正确项召回能力，贴近真实混杂信息场景。

【参考资料】

[2026-11-13]（一道题配 4 份正确答案和 5 份错误答案：最强 Agent 写的测试只有 28% 全过关）机器之心

[2026-11-13]（多候选混杂评测：衡量 Agent 幻觉与召回能力的新范式）量子位

[2026-11-12]（Agent 评测新方案：多正确答案 + 干扰项评测方法）AI 前线

[2026-11-10]（为什么单一标准答案测试会高估 Agent 能力）InfoQ

[2026-10-28]（自主智能体的鲁棒性评测挑战）OpenReview

【免责声明】

本文内容仅为 Agent 多候选评测方案公开资讯整理，不构成大模型 Agent 选型、业务落地、投资建议；28% 全过关率是该特定测试集下的统计结果，更换模型、调整题目、修改候选迷惑强度，通过率会发生明显变化；评测结论不代表所有 Agent 的通用能力上限。