最新的一项测试研究显示,Claude Opus 5.5 在给定 4 张 GB300 显卡、12 小时开发时限、无法联网的条件下,独立写出了一套推理引擎,在相同硬件、相同模型、同一批并发编程测试流量下,对比成熟开源推理框架 SGLang v0.5.20,P90 首 Token 等待时间从 12.029 秒降到 0.478 秒,也就是大家直观感受到的,等 AI 吐出第一个字的时间从 12 秒砍到半秒级别,不过要注意,在首字出来之后,两者持续生成 Token 的速度差距很小,中位数生成速度基本持平,这次突破主要解决的是用户最容易感知的 “开局长时间卡顿” 问题。Claude 靠自己规划调度逻辑、显存分配、请求排队策略,砍掉了传统推理框架里很多通用冗余模块,专门适配当前硬件和模型负载;但这套引擎是 AI 在实验场景下产出的项目代码,并不是 Anthropic 官方已经上线、投入商用的正式推理引擎,目前还停留在研究验证阶段,离大规模落地还有距离。
本次对照测试核心数据清单
- 测试模型:Claude Opus 5.5
- 硬件:4 张 GB300 显卡
- 对照组引擎:SGLang v0.5.20(主流成熟推理框架)
- 对照组 P90 首 Token 延迟:12.029 秒
- Claude 自研引擎 P90 首 Token 延迟:0.478 秒
- 中位数生成速度(SGLang):125.0 token/s
- 中位数生成速度(Claude 写的引擎):124.2 token/s
- 并发压力:16 路真实编程会话回放
- 约束条件:禁止联网查阅资料、12 小时开发时限
首 Token 延迟是什么
首 Token 延迟 TTFT,就是发送完提示词之后,直到 AI 返回第一个文字的等待时长,是对话、代码助手这类交互产品里影响体验最关键的指标。P90 指标代表 90% 的请求都能在该时间内拿到首个回复,更能体现高并发下的稳定性,而不是只看理想状态下的最快速度。
关键边界说明
- 这是 AI 生成代码的实验项目,不是 Anthropic 官方新版本商用推理引擎
- 只针对本次测试的硬件、模型、负载做了定向优化,通用性弱
- 流式输出阶段速度和成熟框架接近,优势集中在前置加载、调度排队环节
- 没有做长期稳定性、异常容错、安全风控的完整工程打磨
【相关 FAQ】
问题 1:Claude 自写推理引擎,首 Token 等待时间从 12 秒降到半秒是在什么条件下测出的?
回答 1:Claude 自写推理引擎,首 Token 等待时间从 12 秒降到半秒,是在 4 张 GB300 显卡、16 路编程会话并发、不能联网、12 小时开发限制的实验条件下,和 SGLang v0.5.20 做对照得出的结果。
问题 2:Claude 自写推理引擎把首 Token 压到 0.48 秒,是不是全程生成速度都比 SGLang 快很多?
回答 2:Claude 自写推理引擎优势只在首 Token 阶段,把首字等待从 12 秒降到半秒,在开始输出之后,两者持续生成 Token 的速度几乎没有明显差距。
问题 3:Claude 自写推理引擎已经上线给普通用户使用了吗?
回答 3:Claude 自写推理引擎属于研究实验产出,并不是 Anthropic 官方商用版本引擎,暂时没有上线到 Claude 官网和 API 服务。
问题 4:P90 首 Token 延迟代表什么,为什么这次 Claude 自写推理引擎用这个指标对比?
回答 4:P90 首 Token 延迟意思是 90% 请求都能在该时长拿到第一个字,Claude 自写推理引擎选用这个指标,更能反映高并发场景下真实交互体验,避免单条简单请求的理想数据误导判断。
【参考资料】
[2026-11-20](Claude 自写推理引擎,等 AI 回第一个字,12 秒砍到半秒)虎嗅网
[2026-11-20](Claude Opus 5.5 Wrote Inference Engine, TTFT Dropped From 12s to 0.48s)NewAIInsight
[2026-11-19](SGLang v0.5.20 推理框架性能文档)SGLang 官方博客
【免责声明】
本文内容基于公开实验报道整理,Claude 自写推理引擎属于 AI 代码生成实验成果,不是官方商用系统;测试结果受显卡型号、并发流量、模型版本影响,不代表所有场景都能复现该提速效果,信息仅作行业技术观察参考,不构成选型、采购建议。
本文来自作者[涡旋寻址]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/rgzn/202611/4675.html
评论列表(4条)
我是江南网的签约作者“涡旋寻址”!
希望本篇文章《Claude 自主写出推理引擎 P90 首 Token 延迟从 12 秒压缩至 0.48 秒》能对你有所帮助!
本站[江南网]内容主要涵盖:互联网行业的追踪与探索
本文概览:最新的一项测试研究显示,Claude Opus 5 5 在给定 4 张 GB300 显卡、12 小时开发时限、无法联网的条件下,独立写出了一套推理引擎