
基准与报告 / 示例
AI API 延迟基准测试:TTFT、吞吐量与可靠性
一套透明的方法,用于测量 AI API 延迟,而不混淆首 token 时间、生成速度与端到端回应时间。
TTFT 衡量回应速度;tokens 每秒衡量生成速度。
对每条路由都使用相同的模型版本、提示词、输出目标与串流模式。
回报中位数与 p95 值,而不是单一最快请求。
在效能数据旁一并公开错误、逾时、区域与测试窗口。
用可重复的方法比较模型质量、延迟、吞吐量、价格与供应商可靠性。

第一篇文章展示此区块会采用的编辑结构:直接答案、实作步骤、限制与 FAQ。

一套透明的方法,用于测量 AI API 延迟,而不混淆首 token 时间、生成速度与端到端回应时间。