TiDBA API

流式输出到一半停止,是模型没答完还是网络断了?

HTTP 已返回 200,只说明连接和请求开始成功;流式结果还需要看最终事件。首字延迟、客户端超时、代理连接关闭和上游失败,处理方式不同。

更新于 2026-10-08阅读约 5 分钟

用结束事件确认结果

  • response.completed:Responses 正常结束;若页面没展示文字,检查客户端解析和 输出项类型。
  • response.failed 或流中的 error:读取错误代码,按实际原因处理。
  • response.incomplete:检查 incomplete_details,可能是输出预算等限制。
  • 没有任何结束事件就断开:记录最后一个事件、Request ID、断开时间与客户端超时设置,再比对平台记录。

某些客户端只在结束时显示全部文字,因此“画面没有继续更新”也可能是客户端缓冲,而不是模型真的停止。

排查顺序和重试边界

  1. 在同一 Key、同一模型上用短输入复测,区分长任务问题与普遍网络问题。
  2. 检查客户端、反向代理与服务器的读超时;SSE 应按事件逐条处理,不要把每个 data: 片段都当成完整答案。
  3. 若连接已经收到部分内容或工具调用,先确认原请求是否已完成或产生副作用,再决定是否重试。
  4. 只有确定是临时错误时才做有限退避,不要在断线后自动并发重发整段对话。

如果只是首个 token 很慢而最终成功,可参照 首 Token 耗时,不要误报成流式中断。

官方依据

OpenAI 官方文档:Streaming API responses 与 Responses streaming events。

不要盲目重放

已有部分输出时,先查原请求状态与副作用。

继续排查 502