首 Token 耗时 TTFT 怎么看

三个时间不要混用

在平台页面查看

1. 登录后打开“用量记录”。
2. 在表格中找到“延迟”列。
3. “首字”对应 first_token_ms，“总耗时”对应 duration_ms。
4. 需要批量分析时导出 CSV，使用 First Token (ms) 列。

非流式请求没有可见的逐 Token 输出，first_token_ms 为空是正常现象。不要把空值当作 0，也不要把非流式请求加入 TTFT 平均值。

用 Responses 流准确测量

下面的 Node.js 18+ 脚本只在收到 response.output_text.delta 时记录 TTFT，避免把连接建立事件误当作首 Token。

const started = performance.now();
const response = await fetch("https://sub.tidba.com/v1/responses", {
  method: "POST",
  headers: {
    "Content-Type": "application/json",
    "Authorization": `Bearer ${process.env.TIDBA_API_KEY}`
  },
  body: JSON.stringify({
    model: "gpt-5.6-sol",
    input: "用一句话回答：连接是否正常？",
    stream: true
  })
});

if (!response.ok) {
  throw new Error(`${response.status} ${await response.text()}`);
}

const reader = response.body.getReader();
const decoder = new TextDecoder();
let buffer = "";
let firstToken = null;

while (true) {
  const { value, done } = await reader.read();
  if (done) break;
  buffer += decoder.decode(value, { stream: true });
  const lines = buffer.split("\n");
  buffer = lines.pop();

  for (const line of lines) {
    if (!line.startsWith("data: ")) continue;
    const data = line.slice(6);
    if (data === "[DONE]") continue;
    const event = JSON.parse(data);
    if (firstToken === null &&
        event.type === "response.output_text.delta") {
      firstToken = performance.now() - started;
      console.log(`TTFT: ${firstToken.toFixed(0)} ms`);
    }
  }
}

console.log(`Total: ${(performance.now() - started).toFixed(0)} ms`);

TIDBA_API_KEY="YOUR_KEY" node ttft.mjs

看 P50、P95，不看单次最快值

• P50代表日常中位体验，适合比较模型或线路的常态。
• P95代表较差时段的用户体验，适合判断抖动和容量风险。
• P99容易受少量超长请求影响，适合告警，不适合单独评价日常速度。
• 同一组比较至少保持模型、推理等级、提示词规模、流式模式和客户端地区一致。

平台运营面板会按真正记录了 TTFT 的流式样本计算分位数，而不是拿全部成功请求稀释结果。

TTFT 变慢时怎么定位

出现容量类错误时参考 Selected model is at capacity 排查；出现 502 时参考 502 排查。