流式输出到一半停止,是模型没答完还是网络断了?
HTTP 已返回 200,只说明连接和请求开始成功;流式结果还需要看最终事件。首字延迟、客户端超时、代理连接关闭和上游失败,处理方式不同。
用结束事件确认结果
response.completed:Responses 正常结束;若页面没展示文字,检查客户端解析和 输出项类型。response.failed或流中的error:读取错误代码,按实际原因处理。response.incomplete:检查incomplete_details,可能是输出预算等限制。- 没有任何结束事件就断开:记录最后一个事件、Request ID、断开时间与客户端超时设置,再比对平台记录。
某些客户端只在结束时显示全部文字,因此“画面没有继续更新”也可能是客户端缓冲,而不是模型真的停止。
排查顺序和重试边界
- 在同一 Key、同一模型上用短输入复测,区分长任务问题与普遍网络问题。
- 检查客户端、反向代理与服务器的读超时;SSE 应按事件逐条处理,不要把每个
data:片段都当成完整答案。 - 若连接已经收到部分内容或工具调用,先确认原请求是否已完成或产生副作用,再决定是否重试。
- 只有确定是临时错误时才做有限退避,不要在断线后自动并发重发整段对话。
如果只是首个 token 很慢而最终成功,可参照 首 Token 耗时,不要误报成流式中断。
官方依据
OpenAI 官方文档:Streaming API responses 与 Responses streaming events。
不要盲目重放
已有部分输出时,先查原请求状态与副作用。