Claude 自写推理引擎:首 Token 延迟能从 12 秒降到 0.5 秒?

等待 12 秒,并不等于模型连续“思考”了 12 秒。36氪报道的实验中,Claude 编写的引擎与 SGLang v0.5.20 的中位生成速度分别为 124.2 和 125 token/s,几乎相同;差异主要出现在 P90 首 Token 延迟,分别为 0.478 秒和 12.029 秒。

这些数据不能说明“整段生成快了二十多倍”。特定负载下,被明显压缩的是首字前的系统瓶颈。这是一项受约束的对照实验,不能据此认为 Anthropic 官方 API 已完成升级。

12 秒到 0.5 秒,测出了什么?

公开材料称,测试在 4 张 GB300 显卡上运行 Claude Opus 5.5,并回放 16 路并发编程会话;引擎开发阶段限时 12 小时且禁止联网。对照组是 SGLang v0.5.20,两组使用相同硬件、模型和测试流量。

P90 首 Token 延迟不是平均值:它表示在该批样本中,90% 的请求都能在对应时间内拿到首个 Token。因此,这个结果描述的是该实验条件下的尾延迟,而不是每次请求都在 0.5 秒内响应。

“12 秒降到半秒”有明确的测试基准,但它反映的是特定负载下的表现,不能直接外推为所有模型、硬件和业务都能获得同样的提升。

首字前可能有哪些开销,持续输出为什么几乎没变?

从系统角度看,首 Token 到达前可能包含连接建立、请求排队、上下文与缓存处理、显存准备以及调度等环节。TTFT 很高但输出很短时,问题通常在首字前;TTFT 正常但完整响应很慢,则更应检查输出长度和多轮工具调用。

这项实验中,公开材料列出的 Claude 引擎实现动作包括定制显存分配逻辑、设计请求排队与调度方案,以及删减通用推理框架中的冗余模块。 两组缓存命中率接近,持续生成速度也基本持平。因此,差异更可能与 Claude 引擎对首字前排队和调度开销的压缩有关,而不是模型整体解码能力增强。

这也解释了 Streaming 场景中的体感差异:首字一旦返回,后续速度由模型逐 Token 解码等因素主导。优化首字前路径可以显著改善“跟手感”,却不会自动提高每个 Token 的生成速度。

Claude API 的 TTFT,应该先查连接、缓存还是并发?

排查时应把 TTFT 统一定义为从 request_start 到收到首个非空文本 chunk,不能用仅代表响应头或空事件的 TTFB 代替;Streaming 主要改善用户感知,不保证缩短底层 TTFT。

现象 更可能的瓶颈 优先检查或处理
第一次请求慢,后续明显变快 冷连接、客户端初始化 HTTP Keep-Alive、HTTP/2 连接复用、连接池预热,避免每请求新建 client
长系统提示词下部分请求 TTFT 偏高 Prompt Cache 未命中 区分首次创建与后续命中,不要把首次创建速度当作缓存性能
P50 正常,P95/P99 突然升高 并发排队、限流、重试 检查峰值流量和 429 重试放大,再做并发削峰与限流
很快收到响应头,却迟迟没有首字 指标口径错误 以首个非空文本 chunk 计时,分开记录 TTFB 与 TTFT
首字正常,但完整响应很慢 输出过长、多轮工具调用 压缩上下文可帮助首字前处理;限制输出主要改善总耗时

更稳妥的做法是先按现象拆分延迟,再决定优化对象:冷连接看连接,未命中看缓存,尾延迟抖动看排队和重试,首字快但整体慢则看输出量。没有必要一开始就换模型或重做架构。

一次基准测试,能直接变成生产引擎吗?

还不能。公开材料明确指出,这套代码是实验产出,并非 Anthropic 已上线的官方商用推理引擎或 API 服务;长期稳定性、异常容错和安全校验等工程化工作也不完整。更换硬件、模型或业务负载后,0.478 秒的结果也未必能够复现。

因此,可迁移的是工程方法,而非“半秒”这个数字:拆分 TTFT,定位首字前的排队、缓存、显存与调度瓶颈,再做针对性优化。公开材料尚未说明实验方案能否跨负载稳定运行,也未说明如何处理故障与安全问题。在这些问题解决前,这套方案还不能视为生产可用。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容