Skip to content

规划运行限额和容量

运行任务、文件上传和 WebSocket 接入的限额因目标部署及其版本而异。生产接入前,请向部署管理员确认实际限额,并让调用方处理相应错误。

确认目标部署限额

目标部署对调用任务、文件上传和 WebSocket 接入可能采用不同限额。分别确认以下边界,并将结果纳入调用方的容量规划和错误处理。

确认 API 调用限额

向部署管理员确认:

  • 调用任务保留时间。
  • 每个租户允许的活动调用任务数。
  • 临时调试 Token 的有效期。
  • 服务维护期间活动调用的处理方式。

需要长时间等待中断响应的调用还应确认任务保留时间是否覆盖最长等待时间,并测试状态查询和恢复流程。

确认文件上传限额

确认目标环境允许的单次文件数、单文件大小、文件 URL 有效期和 MIME 类型。调用方应处理上传错误,而不是假设所有文件都能上传。

确认 WebSocket 接入限额

确认每个渠道账号允许的并发连接数、鉴权超时和心跳要求。

客户端使用退避重连,避免服务恢复时同时建立大量连接。

估算动态实例需求

模板绑定的渠道按用户 /init 创建智能体实例。容量估算至少包括:

language-text
活跃用户数
  x 每用户智能体实例
  x 每实例专属能力资源
  x 峰值并发调用任务

如果沙箱使用预热规格,还要计算预留资源。共享 MCP 和知识库则需要评估外部服务并发,而不是只看智能体实例数量。

处理限额错误

  • JSON 响应中的 http_status_code=429reason=tenant_quota_exceeded):降低并发、排队,或联系部署管理员确认租户限额。
  • stream_in_progress:等待当前流结束,再使用同一 session_id 发起下一次调用。
  • 文件过大或数量过多:拆分请求或调整客户端流程。
  • WebSocket 连接超限:优先复用连接或联系部署管理员确认容量,不要无界重连。同一个智能体实例或智能体模板只能绑定一个 WebSocket 渠道账号;只有使用不同绑定目标时,才能通过增加渠道账号拆分连接。

确认生产容量

上线前,请与平台提供方确认适用的实例规模、模型配额、外部服务容量、超时、存储和恢复目标;不要仅依据其他环境的默认值规划容量。