谷歌发布《Harnesses That Improve Themselves》研究论文,证实 AI 智能体能够直接修改外围 Harness 运行框架代码实现自我优化,而不是只靠调整提示词提升效果;测试在 SWE-bench Lite 软件工程数据集上开展,基准版本任务成功率仅 5%,采用单模块迭代修改方案后成功率提升至 40%,如果放开限制让智能体整体重写整套运行框架,成功率小幅涨到 42.5%,但 Token 消耗会从 4.67 万暴涨至 45.16 万,成本接近模块化方案的 10 倍,对比实验还发现单纯修改提示词的方式反而会让成功率跌到 2.5%,说明改动框架代码是更有效的优化路径,只是要在效果和 Token 成本之间做取舍,这套方案不会改动大模型本身权重,只优化负责上下文管理、工具调用、结果校验的外围执行脚手架。
一、Harness 运行框架四大可编辑模块
研究把初始仅 142 行代码的 Harness 拆成 4 个独立模块,模块化优化规则要求一轮只修改一个模块:
- 上下文与状态管理:维护对话历史、任务进度、中间变量
- 智能体控制模块:任务规划、分支跳转、执行流程调度
- 工具调用接口:控制代码执行、文件读写、外部工具调用逻辑
- 验证与故障恢复:检测错误、回滚异常、判断任务是否完成
二、三种优化方案对照数据表
| 优化方式 | 任务成功率 | 单任务平均 Token 消耗 | 特点 |
|---|---|---|---|
| 原始基准 Harness | 5.0% | —— | 没有自我改进能力 |
| 逐模块迭代修改框架 | 40.0% | 4.67 万 Token | 性价比最优,是论文主推方案 |
| 无限制整体重写框架 | 42.5% | 45.16 万 Token | 收益提升很小,Token 成本暴涨近 10 倍 |
| 仅修改提示词 | 2.5% | —— | 效果不升反降,不推荐 |
三、AI 自我改进 Harness 完整流程
- 智能体正常跑测试任务,保存完整执行日志,定位失败卡点
- 优化模型根据日志生成对应模块的代码修改提案
- 提案送入验证集自动测试,评估成功率、Token 消耗、稳定性
- 验证达标就保留代码改动,不达标直接丢弃提案,不合并进框架
- 循环多轮迭代,持续沉淀更适配当前任务集的 Harness 版本
四、这项研究的关键结论清单
- 不用微调模型权重,修改外围运行框架就能大幅拉高 AI 智能体任务成功率
- 收益边际递减:全量重写框架带来的成功率提升幅度很小,但 Token 开销极高
- 提示词优化存在上限,部分场景甚至会损害智能体执行能力
- 模块化、单组件迭代是落地首选策略,兼顾效果和推理成本
- 同一个 Harness 框架跨模型迁移时容易失效,需要针对目标模型重新自我迭代
【相关 FAQ】
问题 1:谷歌这项研究里,AI 智能体自我改进运行框架,会修改 Gemini 大模型本身的权重吗?
回答 1:不会,AI 智能体自我改进的是外层 Harness 运行框架代码,全程不改动底层 Gemini 模型权重,只调整任务调度、工具调用、校验逻辑。
问题 2:AI 智能体整体重写运行框架时 Token 成本接近 10 倍,为什么成功率提升却很少?
回答 2:因为大部分 Harness 原有逻辑本身是有效的,整体重写会生成大量冗余代码、无效分支,额外消耗大量 Token,只换来 2.5% 左右的小幅成功率提升,边际收益很低。
问题 3:谷歌这个可自我改进的 Harness 运行框架,和普通调整提示词优化智能体有什么差别?
回答 3:调整提示词只是给模型文字约束,而自我改进 Harness 运行框架是直接修改执行代码,实验显示改提示词成功率下滑,修改框架代码可以把成功率拉高到 40%。
问题 4:这套 AI 智能体自我改进运行框架的方案,已经可以直接投入企业生产环境使用吗?
回答 4:目前还属于谷歌实验室研究成果,只在 SWE-bench Lite 编程基准上验证,生产落地还要解决稳定性、安全沙箱、版本回滚、成本管控等配套问题。
【参考资料】
[2026-11-20](谷歌研究发现 AI 智能体可自我改进运行框架,成功率提升但整体重写 Token 成本近 10 倍)凤凰网科技
[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)IT 之家
[2026-11-20](Better to Change Code Than Prompts: Google Lets AI Modify Its Own Runtime Framework)AIbase
[2026-11-19](Harnesses That Improve Themselves 谷歌自我改进智能体论文解读)科创板日报
【免责声明】
本文仅为谷歌 AI 智能体自我改进运行框架相关研究资讯整理,论文结论仅基于 SWE-bench Lite 编程基准测试,在办公、网页、工业等其他场景效果不一定复刻;Token 消耗、成功率为实验室条件下的统计结果,不代表商用智能体表现;该方案存在代码自主修改带来的安全风险,任何落地使用都需要配套严格沙箱、审计、回滚机制,不构成技术选型、项目落地建议。
本文来自作者[频流解序者]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/kjyw/202611/4687.html
评论列表(4条)
我是江南网的签约作者“频流解序者”!
希望本篇文章《谷歌新研究AI 智能体可自我迭代 Harness 运行框架 全量重写 Token 开销接近 10 倍》能对你有所帮助!
本站[江南网]内容主要涵盖:互联网行业的追踪与探索
本文概览:谷歌发布《Harnesses That Improve Themselves》研究论文,证实 AI 智能体能够直接修改外围 Harness 运行框架代码实现自我优化,而