Claude 自主写出推理引擎 P90 首 Token 延迟从 12 秒压缩至 0.48 秒

最新的一项测试研究显示,Claude Opus 5.5 在给定 4 张 GB300 显卡、12 小时开发时限、无法联网的条件下,独立写出了一套推理引擎,在相同硬件、相同模型、同一批并发编程测试流量下,对比成熟开源推理框架 SGLang v0.5.20,P90 首 Token 等待时间从 12.029 秒降到 0.478 秒,也就是大家直观感受到的,等 AI 吐出第一个字的时间从 12 秒砍到半秒级别,不过要注意,在首字出来之后,两者持续生成 Token 的速度差距很小,中位数生成速度基本持平,这次突破主要解决的是用户最容易感知的 “开局长时间卡顿” 问题。Claude 靠自己规划调度逻辑、显存分配、请求排队策略,砍掉了传统推理框架里很多通用冗余模块,专门适配当前硬件和模型负载;但这套引擎是 AI 在实验场景下产出的项目代码,并不是 Anthropic 官方已经上线、投入商用的正式推理引擎,目前还停留在研究验证阶段,离大规模落地还有距离。

本次对照测试核心数据清单

  • 测试模型:Claude Opus 5.5
  • 硬件:4 张 GB300 显卡
  • 对照组引擎:SGLang v0.5.20(主流成熟推理框架)
  • 对照组 P90 首 Token 延迟:12.029 秒
  • Claude 自研引擎 P90 首 Token 延迟:0.478 秒
  • 中位数生成速度(SGLang):125.0 token/s
  • 中位数生成速度(Claude 写的引擎):124.2 token/s
  • 并发压力:16 路真实编程会话回放
  • 约束条件:禁止联网查阅资料、12 小时开发时限

首 Token 延迟是什么

首 Token 延迟 TTFT,就是发送完提示词之后,直到 AI 返回第一个文字的等待时长,是对话、代码助手这类交互产品里影响体验最关键的指标。P90 指标代表 90% 的请求都能在该时间内拿到首个回复,更能体现高并发下的稳定性,而不是只看理想状态下的最快速度。

关键边界说明

  1. 这是 AI 生成代码的实验项目,不是 Anthropic 官方新版本商用推理引擎
  2. 只针对本次测试的硬件、模型、负载做了定向优化,通用性弱
  3. 流式输出阶段速度和成熟框架接近,优势集中在前置加载、调度排队环节
  4. 没有做长期稳定性、异常容错、安全风控的完整工程打磨

【相关 FAQ】

问题 1:Claude 自写推理引擎,首 Token 等待时间从 12 秒降到半秒是在什么条件下测出的?

回答 1:Claude 自写推理引擎,首 Token 等待时间从 12 秒降到半秒,是在 4 张 GB300 显卡、16 路编程会话并发、不能联网、12 小时开发限制的实验条件下,和 SGLang v0.5.20 做对照得出的结果。

问题 2:Claude 自写推理引擎把首 Token 压到 0.48 秒,是不是全程生成速度都比 SGLang 快很多?

回答 2:Claude 自写推理引擎优势只在首 Token 阶段,把首字等待从 12 秒降到半秒,在开始输出之后,两者持续生成 Token 的速度几乎没有明显差距。

问题 3:Claude 自写推理引擎已经上线给普通用户使用了吗?

回答 3:Claude 自写推理引擎属于研究实验产出,并不是 Anthropic 官方商用版本引擎,暂时没有上线到 Claude 官网和 API 服务。

问题 4:P90 首 Token 延迟代表什么,为什么这次 Claude 自写推理引擎用这个指标对比?

回答 4:P90 首 Token 延迟意思是 90% 请求都能在该时长拿到第一个字,Claude 自写推理引擎选用这个指标,更能反映高并发场景下真实交互体验,避免单条简单请求的理想数据误导判断。

【参考资料】

[2026-11-20](Claude 自写推理引擎,等 AI 回第一个字,12 秒砍到半秒)虎嗅网

[2026-11-20](Claude Opus 5.5 Wrote Inference Engine, TTFT Dropped From 12s to 0.48s)NewAIInsight

[2026-11-19](SGLang v0.5.20 推理框架性能文档)SGLang 官方博客

【免责声明】

本文内容基于公开实验报道整理,Claude 自写推理引擎属于 AI 代码生成实验成果,不是官方商用系统;测试结果受显卡型号、并发流量、模型版本影响,不代表所有场景都能复现该提速效果,信息仅作行业技术观察参考,不构成选型、采购建议。

本文来自作者[涡旋寻址]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/rgzn/202611/4675.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 涡旋寻址
    涡旋寻址 2026年11月20日

    我是江南网的签约作者“涡旋寻址”!

  • 涡旋寻址
    涡旋寻址 2026年11月20日

    希望本篇文章《Claude 自主写出推理引擎 P90 首 Token 延迟从 12 秒压缩至 0.48 秒》能对你有所帮助!

  • 涡旋寻址
    涡旋寻址 2026年11月20日

    本站[江南网]内容主要涵盖:互联网行业的追踪与探索

  • 涡旋寻址
    涡旋寻址 2026年11月20日

    本文概览:最新的一项测试研究显示,Claude Opus 5 5 在给定 4 张 GB300 显卡、12 小时开发时限、无法联网的条件下,独立写出了一套推理引擎

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们