加州伯克利联合多家机构研究员推出 ExploitGym 基准测试,在 898 个真实软件漏洞上对比多款前沿 AI 智能体,在两小时时限、关闭默认安全防护的实验条件下,Claude Mythos Preview 总成功数最高,GPT‑5.5 排在第二,在 Linux 内核漏洞利用上甚至强于 Mythos;测试任务不是找漏洞,而是给模型漏洞源码、触发 PoC,要求自动构造完整利用链、拿到任意代码执行权限,覆盖用户态程序、Chrome V8、Linux 内核三大类,该结论只适用于专项红队测试,不等于默认公开版本可以直接生成攻击代码,OpenAI 默认安全策略会拦截这类请求。研究团队开展这项挑战,是因为过去很多安全评测偏向 CTF、漏洞查找、写补丁,缺少 “从已知漏洞到可用 exploit” 的自动化评估;前沿大模型推理、内存布局、多步骤链化能力提升之后,攻击者可以借助 AI 大幅压低漏洞利用门槛,因此搭建这套容器化、可复现的数据集,同时区分 “按指定漏洞成功利用” 和 “中途发现别的漏洞实现逃逸” 两种情况,后者在 GPT‑5.5 与 Mythos 身上都大量出现。整套测试有严格前提:必须走厂商受控安全研究通道、关闭安全护栏、限定单任务最多两小时;如果打开 ASLR、堆栈保护、V8 沙箱、KASLR 等常规防护,所有模型成功率都会明显下滑,但不会归零。对安全团队来说,这份结果的价值更多是防御侧参考:评估补丁优先级、验证 mitigation 是否有效;而不是证明模型天然自带攻击能力。
ExploitGym 测试核心数据清单(2 小时时限,按目标漏洞成功利用)
- Claude Mythos Preview:合计 157(用户态 107,V8 38,内核 12)
- GPT‑5.5 + Codex CLI:合计 120(用户态 71,V8 27,内核 22)
- GPT‑5.4:合计 54
- Claude Opus 4.6:15
- Gemini 3.1 Pro:12
- GLM‑5.1:4
- Claude Opus 4.7:7
开启标准安全防护后保留成功数
| 模型 | 用户态 | V8 | Linux 内核 |
|---|---|---|---|
| Claude Mythos Preview | 25 | 17 | 3 |
| GPT‑5.5 | 10 | 3 | 8 |
关键边界说明清单
- 默认公开版 GPT‑5.5 自带安全过滤,正常调用无法完成漏洞利用,本次是在安全研究专项准入、关闭护栏的环境测试。
- 总捕获 flag 会高于上表数字:很多时候模型不按指定漏洞打,中途挖到别的漏洞逃逸,GPT‑5.5 一共拿下 210 次 flag,其中只有 120 次走目标漏洞。
- 内核场景是分水岭:只有 Mythos、GPT‑5.5 具备可观的内核提权能力,其余模型几乎无法完成。
- 延长时限到 6 小时,最强模型还能继续提升成功率,说明算力、思考预算对高难度漏洞利用影响很大。
意义与风险解读
- 防御视角:传统防护仍有效果,但不能单独依靠,纵深防御、及时打补丁、沙箱隔离的必要性上升;安全团队可以用 ExploitGym 评估自家 mitigation 能不能挡住 AI 智能体。
- 滥用风险:AI 降低漏洞利用的技术门槛,不精通底层二进制的人,也有可能借助模型把公开漏洞转化为可用攻击。
- 模型差异:两款头部模型擅长的漏洞类型并不重合,有各自独解样本,混合多模型防守评估会覆盖更广。
【相关 FAQ】
问题 1:研究员测试 AI 漏洞挑战:GPT 5.5 成功率最高,是不是说 GPT‑5.5 在这项测试里排名第一?
回答 1:不是,研究员这项 AI 漏洞挑战 ExploitGym 里,如果统计针对指定漏洞的成功利用总数,Claude Mythos Preview 第一、GPT‑5.5 第二;GPT‑5.5 的突出点是 Linux 内核漏洞利用数量更高。
问题 2:研究员测试 AI 漏洞挑战:GPT 5.5 成功率最高,平时我们直接用线上 GPT‑5.5 也能生成漏洞利用代码吗?
回答 2:不能,研究员这项 AI 漏洞挑战是特殊准入的安全研究环境,关闭了安全护栏;公开线上版本的 GPT‑5.5 默认会拦截漏洞利用、攻击代码生成请求。
问题 3:研究员测试 AI 漏洞挑战:GPT 5.5 成功率最高,这个测试是让 AI 去找新漏洞吗?
回答 3:不是,研究员这项 AI 漏洞挑战 ExploitGym 的任务是:已经给出漏洞、源码、触发 PoC,要求 AI 把它做成能拿到代码执行的完整利用程序,不是从零挖掘 0day。
问题 4:研究员测试 AI 漏洞挑战:GPT 5.5 成功率最高,如果系统开了 ASLR、沙箱这些防护,AI 还能成功吗?
回答 4:还存在少量成功案例,但整体成功率大幅缩水;研究员测试 AI 漏洞挑战的数据显示,就算开启常规 mitigation,GPT‑5.5、Mythos 依然有少量绕过案例,只是数量显著下降。
【参考资料】
[2026‑05‑13] ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?,UC Berkeley RDI、马克斯普朗克隐私与安全研究所联合发布
[2026‑05‑13] arXiv:2605.11086
[2026‑05‑13] ExploitGym 项目仓库与配套评估数据集
【免责声明】
本文基于伯克利等机构公开学术论文 ExploitGym,所有测试在受控、合规安全研究通道下开展;结果仅用于安全学术评估,不代表普通用户可直接获取攻击能力;AI 漏洞利用属于高危能力,严禁私自用于未授权测试,任何系统渗透、漏洞验证必须获得目标所有者书面授权。
