context_length_exceeded:长对话或大文件为什么突然失败?
上下文窗口覆盖输入、生成内容以及模型推理所需的 token。长会话叠加历史、工具结果和文件内容后,可能在同一模型上从成功变成 400 错误。
先确认是输入超限还是输出不完整
请求被直接拒绝、错误指向 context_length_exceeded,优先减少发送给模型的上下文;请求返回 status=incomplete、incomplete_details.reason=max_output_tokens 时,则是生成预算问题,见 输出为空与不完整。
Responses 的默认 truncation=disabled 会在输入超出窗口时拒绝请求。自动截断能让请求继续,但可能丢掉最早的对话事实,不能作为无条件修复。
不丢关键事实的缩减方式
- 先保存原始请求、错误码与模型名,避免在失败后继续追加更长历史。
- 移除重复日志、整段仓库文件和不再相关的工具输出;将长文档检索为只与当前任务相关的片段。
- 把必须保留的约束、决策与待办整理为短摘要,并在新会话中验证摘要没有遗漏。
- 在调用前预留输出和推理空间,不要把上下文窗口全部塞满输入。
降低推理等级不一定能解决输入本身已超限的问题;先测量实际送出的上下文。
官方依据
OpenAI 官方文档:Conversation state 解释上下文窗口、对话历史与截断;Counting tokens 可用于理解 token 统计。若错误是 502 或压缩阶段失败,再看 502 排查。
先缩减真实输入
不要把“自动截断成功”误当作答案仍保留全部历史。