GPT-6.2 Astra 在 Bug Hunt Bench 这份独立代码漏洞修复基准测试里拿到 62.7 分,直接登顶榜单,完成整套测试的 API 成本是 28.35 美元,这个结果是第三方 BenchLM 放出的首份实质独立跑分,和 OpenAI 自家内部测试数据不一样,Bug Hunt Bench 的核心特点是模型看不到问题描述、没有配套测试用例,要直接在两个生产级 TypeScript 仓库里找出并且修好内置的 105 个隐藏 bug,只有完整修复漏洞才算得分,只找到 bug、部分修复都不计分,这个规则会比普通代码基准更贴近真实开发场景,也更考验 AI 编码智能体的端到端排查、改代码能力,对比之前榜单里的其他模型,GPT-6.2 Astra 不仅分数拉开差距,单位 bug 修复的成本也控制在了更低水平。
一、Bug Hunt Bench 测试基础信息
- 测试数据集:2 份真实生产 TypeScript 代码仓库,内置一共 105 个预先埋好的隐藏缺陷
- 评分规则:只统计完整修复的 bug,只上报漏洞、改一半、代码无法通过校验都不得分
- 评审方式:独立盲审裁判对照秘钥校验提交的代码 diff,不是模型自证结果
- 本次测试约束:统一提示词、一轮机会,使用模型原生 Agent CLI 执行
- 本次 GPT-6.2 Astra 结果:总分 62.7/105,全流程消耗成本 28.35 美元
| 参与模型 | Bug Hunt Bench 分数 | 本次测试成本 | 备注 |
|---|---|---|---|
| GPT-6.2 Astra | 62.7 | 28.35 美元 | 当前榜单第一 |
| 前代 GPT-6 Astra | 47.1 | 41.2 美元 | 上一代旗舰 |
| GPT-5.6 Sol | 42.0 | 32.6 美元 | 此前榜首 |
| 竞品代码大模型 A | 51.3 | 57.8 美元 | 分数低、成本更高 |
二、GPT-6.2 Astra 本次测试的关键亮点
- 分数提升明显:相比 GPT-6 Astra 提升 15.6 分,相比老榜首 GPT-5.6 Sol 提升 20.7 分,是该基准上线以来首个突破 60 分大关的模型
- 成本反向下降:虽然修复 bug 数量变多,但整体测试成本 28.35 美元,低于前代和大部分竞品,原因是推理 token 使用量优化、Astra 本身 API 单价下调
- 属于独立第三方评测:不是 OpenAI 官方自测,是 BenchLM 独立运行,结果不受厂商参数调优定向适配的影响,参考价值更高
- 适合工程参考:这个基准偏向真实线上代码审计,不是简单算法题,更贴近程序员排查线上 bug、修复代码缺陷的工作流
三、GPT-6.2 Astra 在 Bug Hunt Bench 的测试流程
- 加载两份带隐藏 bug 的 TypeScript 仓库,不给模型任何 bug 清单、报错日志、测试用例提示
- 启动 Astra 原生编码 Agent,自动读取代码、定位问题、生成修改 diff
- 一轮提交最终补丁,不支持多轮重试迭代
- 独立盲审裁判核对补丁,统计完全修复成功的缺陷数量,换算成总分
- 统计本次调用所有输入、输出 token,按公开 API 单价核算总成本 28.35 美元
四、局限性和需要留意的细节
- 语言限定:Bug Hunt Bench 目前只用 TypeScript 仓库,不能直接代表 Java、Go、Python 等其他编程语言的漏洞修复能力
- 单轮限制:测试只允许一轮提交,真实开发里工程师和 AI 一般可以多轮调试,这个条件会压低所有模型的分数
- 成本是基准测试总价:28.35 美元是跑完整套 105 个 bug 任务的总开销,不是修复一个 bug 的价格
- 不代表所有安全能力:这个基准侧重代码 bug 修复,和 ExploitBench、SRE-Bench 这类安全逆向、漏洞利用基准不是一回事
【相关 FAQ】
问题 1:GPT-6.2 Astra 在 Bug Hunt Bench 拿到 62.7 分,这个分数代表什么水平?
回答 1:GPT-6.2 Astra 在 Bug Hunt Bench 拿到 62.7 分是当前榜单最高水平,也是该基准首个突破 60 分的模型,意味着在无报错提示、单轮提交的严苛条件下,它可以完整修复 105 个埋入 TypeScript 缺陷里六成左右的 bug。
问题 2:GPT-6.2 Astra Bug Hunt Bench 测试 28.35 美元成本,是修复单个 bug 的费用吗?
回答 2:不是,GPT-6.2 Astra Bug Hunt Bench 测试里 28.35 美元是跑完整套 105 个 bug 任务的全部 API 调用成本,不是单个 bug 修复的价格,分摊下来单 bug 修复成本远低于同榜单其他模型。
问题 3:Bug Hunt Bench 的 GPT-6.2 Astra 评测是 OpenAI 官方发布的结果吗?
回答 3:不是,GPT-6.2 Astra Bug Hunt Bench 这份 62.7 分、28.35 美元的结果,是 BenchLM 放出的独立第三方实质基准测试,不属于 OpenAI 官方自测数据。
问题 4:GPT-6.2 Astra Bug Hunt Bench 高分,是不是它在所有编程语言找 bug 都最强?
回答 4:不一定,Bug Hunt Bench 测试只用 TypeScript 仓库,GPT-6.2 Astra Bug Hunt Bench 的高分只代表它在 TypeScript 代码漏洞修复上表现突出,不能直接等同于 Java、Go、Python 等其他语言同样登顶。
【参考资料】
[2026-11-13](Bug Hunt Bench Leaderboard & Scores — November 2026)BenchLM
[2026-11-13](GPT-6.2 Astra 登顶 Bug Hunt Bench,62.7 分,单任务成本 28.35 美元)BenchLM 官方评测快讯
[2026-11-12](Bug Hunt Bench:面向 AI 编码智能体的真实代码漏洞基准介绍)Product Compass
[2026-11-08](Bug Hunt Bench 评测规则说明,评分、成本统计口径)BenchLM
[2026-08-12](Bug Hunt Bench Leaderboard: GPT-5.6 Sol Leads at 42/105)BenchLM
【免责声明】
本文整理的 GPT-6.2 Astra Bug Hunt Bench 62.7 分、28.35 美元成本等数据来自第三方 BenchLM 独立评测,跑分结果受提示词、Agent 框架、推理档位影响;不同评测基准、不同代码语言场景下模型表现会存在差异,不代表该模型在所有代码漏洞审计场景都能稳定达到该分数与成本,不构成选型、采购 API 服务的投资或者采购建议。
本文来自作者[畴波推演]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/rgzn/202611/4381.html
评论列表(4条)
我是江南网的签约作者“畴波推演”!
希望本篇文章《GPT-6.2 Astra Bug Hunt Bench 评测62.7 分登顶,单轮测试成本 28.35 美元》能对你有所帮助!
本站[江南网]内容主要涵盖:互联网行业的追踪与探索
本文概览:GPT-6 2 Astra 在 Bug Hunt Bench 这份独立代码漏洞修复基准测试里拿到 62 7 分,直接登顶榜单,完成整套测试的 API 成本是 28