TiDBA API

context_length_exceeded:长对话或大文件为什么突然失败?

上下文窗口覆盖输入、生成内容以及模型推理所需的 token。长会话叠加历史、工具结果和文件内容后,可能在同一模型上从成功变成 400 错误。

更新于 2026-10-08阅读约 5 分钟

先确认是输入超限还是输出不完整

请求被直接拒绝、错误指向 context_length_exceeded,优先减少发送给模型的上下文;请求返回 status=incomplete、incomplete_details.reason=max_output_tokens 时,则是生成预算问题,见 输出为空与不完整。

Responses 的默认 truncation=disabled 会在输入超出窗口时拒绝请求。自动截断能让请求继续,但可能丢掉最早的对话事实,不能作为无条件修复。

不丢关键事实的缩减方式

  1. 先保存原始请求、错误码与模型名,避免在失败后继续追加更长历史。
  2. 移除重复日志、整段仓库文件和不再相关的工具输出;将长文档检索为只与当前任务相关的片段。
  3. 把必须保留的约束、决策与待办整理为短摘要,并在新会话中验证摘要没有遗漏。
  4. 在调用前预留输出和推理空间,不要把上下文窗口全部塞满输入。
降低推理等级不一定能解决输入本身已超限的问题;先测量实际送出的上下文。

官方依据

OpenAI 官方文档:Conversation state 解释上下文窗口、对话历史与截断;Counting tokens 可用于理解 token 统计。若错误是 502 或压缩阶段失败,再看 502 排查。

先缩减真实输入

不要把“自动截断成功”误当作答案仍保留全部历史。

检查输出状态