GPT-6.2 Astra Bug Hunt Bench 评测62.7 分登顶,单轮测试成本 28.35 美元

GPT-6.2 Astra 在 Bug Hunt Bench 这份独立代码漏洞修复基准测试里拿到 62.7 分,直接登顶榜单,完成整套测试的 API 成本是 28.35 美元,这个结果是第三方 BenchLM 放出的首份实质独立跑分,和 OpenAI 自家内部测试数据不一样,Bug Hunt Bench 的核心特点是模型看不到问题描述、没有配套测试用例,要直接在两个生产级 TypeScript 仓库里找出并且修好内置的 105 个隐藏 bug,只有完整修复漏洞才算得分,只找到 bug、部分修复都不计分,这个规则会比普通代码基准更贴近真实开发场景,也更考验 AI 编码智能体的端到端排查、改代码能力,对比之前榜单里的其他模型,GPT-6.2 Astra 不仅分数拉开差距,单位 bug 修复的成本也控制在了更低水平。

一、Bug Hunt Bench 测试基础信息

  • 测试数据集:2 份真实生产 TypeScript 代码仓库,内置一共 105 个预先埋好的隐藏缺陷
  • 评分规则:只统计完整修复的 bug,只上报漏洞、改一半、代码无法通过校验都不得分
  • 评审方式:独立盲审裁判对照秘钥校验提交的代码 diff,不是模型自证结果
  • 本次测试约束:统一提示词、一轮机会,使用模型原生 Agent CLI 执行
  • 本次 GPT-6.2 Astra 结果:总分 62.7/105,全流程消耗成本 28.35 美元
参与模型Bug Hunt Bench 分数本次测试成本备注
GPT-6.2 Astra62.728.35 美元当前榜单第一
前代 GPT-6 Astra47.141.2 美元上一代旗舰
GPT-5.6 Sol42.032.6 美元此前榜首
竞品代码大模型 A51.357.8 美元分数低、成本更高

二、GPT-6.2 Astra 本次测试的关键亮点

  1. 分数提升明显:相比 GPT-6 Astra 提升 15.6 分,相比老榜首 GPT-5.6 Sol 提升 20.7 分,是该基准上线以来首个突破 60 分大关的模型
  2. 成本反向下降:虽然修复 bug 数量变多,但整体测试成本 28.35 美元,低于前代和大部分竞品,原因是推理 token 使用量优化、Astra 本身 API 单价下调
  3. 属于独立第三方评测:不是 OpenAI 官方自测,是 BenchLM 独立运行,结果不受厂商参数调优定向适配的影响,参考价值更高
  4. 适合工程参考:这个基准偏向真实线上代码审计,不是简单算法题,更贴近程序员排查线上 bug、修复代码缺陷的工作流

三、GPT-6.2 Astra 在 Bug Hunt Bench 的测试流程

  1. 加载两份带隐藏 bug 的 TypeScript 仓库,不给模型任何 bug 清单、报错日志、测试用例提示
  2. 启动 Astra 原生编码 Agent,自动读取代码、定位问题、生成修改 diff
  3. 一轮提交最终补丁,不支持多轮重试迭代
  4. 独立盲审裁判核对补丁,统计完全修复成功的缺陷数量,换算成总分
  5. 统计本次调用所有输入、输出 token,按公开 API 单价核算总成本 28.35 美元

四、局限性和需要留意的细节

  1. 语言限定:Bug Hunt Bench 目前只用 TypeScript 仓库,不能直接代表 Java、Go、Python 等其他编程语言的漏洞修复能力
  2. 单轮限制:测试只允许一轮提交,真实开发里工程师和 AI 一般可以多轮调试,这个条件会压低所有模型的分数
  3. 成本是基准测试总价:28.35 美元是跑完整套 105 个 bug 任务的总开销,不是修复一个 bug 的价格
  4. 不代表所有安全能力:这个基准侧重代码 bug 修复,和 ExploitBench、SRE-Bench 这类安全逆向、漏洞利用基准不是一回事

【相关 FAQ】

问题 1:GPT-6.2 Astra 在 Bug Hunt Bench 拿到 62.7 分,这个分数代表什么水平?

回答 1:GPT-6.2 Astra 在 Bug Hunt Bench 拿到 62.7 分是当前榜单最高水平,也是该基准首个突破 60 分的模型,意味着在无报错提示、单轮提交的严苛条件下,它可以完整修复 105 个埋入 TypeScript 缺陷里六成左右的 bug。

问题 2:GPT-6.2 Astra Bug Hunt Bench 测试 28.35 美元成本,是修复单个 bug 的费用吗?

回答 2:不是,GPT-6.2 Astra Bug Hunt Bench 测试里 28.35 美元是跑完整套 105 个 bug 任务的全部 API 调用成本,不是单个 bug 修复的价格,分摊下来单 bug 修复成本远低于同榜单其他模型。

问题 3:Bug Hunt Bench 的 GPT-6.2 Astra 评测是 OpenAI 官方发布的结果吗?

回答 3:不是,GPT-6.2 Astra Bug Hunt Bench 这份 62.7 分、28.35 美元的结果,是 BenchLM 放出的独立第三方实质基准测试,不属于 OpenAI 官方自测数据。

问题 4:GPT-6.2 Astra Bug Hunt Bench 高分,是不是它在所有编程语言找 bug 都最强?

回答 4:不一定,Bug Hunt Bench 测试只用 TypeScript 仓库,GPT-6.2 Astra Bug Hunt Bench 的高分只代表它在 TypeScript 代码漏洞修复上表现突出,不能直接等同于 Java、Go、Python 等其他语言同样登顶。

【参考资料】

[2026-11-13](Bug Hunt Bench Leaderboard & Scores — November 2026)BenchLM

[2026-11-13](GPT-6.2 Astra 登顶 Bug Hunt Bench,62.7 分,单任务成本 28.35 美元)BenchLM 官方评测快讯

[2026-11-12](Bug Hunt Bench:面向 AI 编码智能体的真实代码漏洞基准介绍)Product Compass

[2026-11-08](Bug Hunt Bench 评测规则说明,评分、成本统计口径)BenchLM

[2026-08-12](Bug Hunt Bench Leaderboard: GPT-5.6 Sol Leads at 42/105)BenchLM

【免责声明】

本文整理的 GPT-6.2 Astra Bug Hunt Bench 62.7 分、28.35 美元成本等数据来自第三方 BenchLM 独立评测,跑分结果受提示词、Agent 框架、推理档位影响;不同评测基准、不同代码语言场景下模型表现会存在差异,不代表该模型在所有代码漏洞审计场景都能稳定达到该分数与成本,不构成选型、采购 API 服务的投资或者采购建议。

本文来自作者[畴波推演]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/rgzn/202611/4381.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 畴波推演
    畴波推演 2026年11月19日

    我是江南网的签约作者“畴波推演”!

  • 畴波推演
    畴波推演 2026年11月19日

    希望本篇文章《GPT-6.2 Astra Bug Hunt Bench 评测62.7 分登顶,单轮测试成本 28.35 美元》能对你有所帮助!

  • 畴波推演
    畴波推演 2026年11月19日

    本站[江南网]内容主要涵盖:互联网行业的追踪与探索

  • 畴波推演
    畴波推演 2026年11月19日

    本文概览:GPT-6 2 Astra 在 Bug Hunt Bench 这份独立代码漏洞修复基准测试里拿到 62 7 分,直接登顶榜单,完成整套测试的 API 成本是 28

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们