等待 12 秒,并不等于模型连续“思考”了 12 秒。36氪报道的实验中,Claude 编写的引擎与 SGLang v0.5.20 的中位生成速度分别为 124.2 和 125 token/s,几乎相同;差异主要出现在 P90 首 Token 延迟,分别为 0.478 秒和 12.029 秒。
这些数据不能说明“整段生成快了二十多倍”。特定负载下,被明显压缩的是首字前的系统瓶颈。这是一项受约束的对照实验,不能据此认为 Anthropic 官方 API 已完成升级。
12 秒到 0.5 秒,测出了什么?
公开材料称,测试在 4 张 GB300 显卡上运行 Claude Opus 5.5,并回放 16 路并发编程会话;引擎开发阶段限时 12 小时且禁止联网。对照组是 SGLang v0.5.20,两组使用相同硬件、模型和测试流量。
P90 首 Token 延迟不是平均值:它表示在该批样本中,90% 的请求都能在对应时间内拿到首个 Token。因此,这个结果描述的是该实验条件下的尾延迟,而不是每次请求都在 0.5 秒内响应。
“12 秒降到半秒”有明确的测试基准,但它反映的是特定负载下的表现,不能直接外推为所有模型、硬件和业务都能获得同样的提升。
首字前可能有哪些开销,持续输出为什么几乎没变?
从系统角度看,首 Token 到达前可能包含连接建立、请求排队、上下文与缓存处理、显存准备以及调度等环节。TTFT 很高但输出很短时,问题通常在首字前;TTFT 正常但完整响应很慢,则更应检查输出长度和多轮工具调用。
这项实验中,公开材料列出的 Claude 引擎实现动作包括定制显存分配逻辑、设计请求排队与调度方案,以及删减通用推理框架中的冗余模块。 两组缓存命中率接近,持续生成速度也基本持平。因此,差异更可能与 Claude 引擎对首字前排队和调度开销的压缩有关,而不是模型整体解码能力增强。
这也解释了 Streaming 场景中的体感差异:首字一旦返回,后续速度由模型逐 Token 解码等因素主导。优化首字前路径可以显著改善“跟手感”,却不会自动提高每个 Token 的生成速度。
Claude API 的 TTFT,应该先查连接、缓存还是并发?
排查时应把 TTFT 统一定义为从 request_start 到收到首个非空文本 chunk,不能用仅代表响应头或空事件的 TTFB 代替;Streaming 主要改善用户感知,不保证缩短底层 TTFT。
| 现象 | 更可能的瓶颈 | 优先检查或处理 |
|---|---|---|
| 第一次请求慢,后续明显变快 | 冷连接、客户端初始化 | HTTP Keep-Alive、HTTP/2 连接复用、连接池预热,避免每请求新建 client |
| 长系统提示词下部分请求 TTFT 偏高 | Prompt Cache 未命中 | 区分首次创建与后续命中,不要把首次创建速度当作缓存性能 |
| P50 正常,P95/P99 突然升高 | 并发排队、限流、重试 | 检查峰值流量和 429 重试放大,再做并发削峰与限流 |
| 很快收到响应头,却迟迟没有首字 | 指标口径错误 | 以首个非空文本 chunk 计时,分开记录 TTFB 与 TTFT |
| 首字正常,但完整响应很慢 | 输出过长、多轮工具调用 | 压缩上下文可帮助首字前处理;限制输出主要改善总耗时 |
更稳妥的做法是先按现象拆分延迟,再决定优化对象:冷连接看连接,未命中看缓存,尾延迟抖动看排队和重试,首字快但整体慢则看输出量。没有必要一开始就换模型或重做架构。
一次基准测试,能直接变成生产引擎吗?
还不能。公开材料明确指出,这套代码是实验产出,并非 Anthropic 已上线的官方商用推理引擎或 API 服务;长期稳定性、异常容错和安全校验等工程化工作也不完整。更换硬件、模型或业务负载后,0.478 秒的结果也未必能够复现。
因此,可迁移的是工程方法,而非“半秒”这个数字:拆分 TTFT,定位首字前的排队、缓存、显存与调度瓶颈,再做针对性优化。公开材料尚未说明实验方案能否跨负载稳定运行,也未说明如何处理故障与安全问题。在这些问题解决前,这套方案还不能视为生产可用。
[email protected]
。
我们承诺在核实信息后,将第一时间删除相关内容或断开链接。
























暂无评论内容