GenStudio API 调用限制
本章节将向您介绍 GenStudio API 服务的调用限制及相关最佳实践,以确保服务的稳定性并防止滥用。
- 大语言模型(LLM) API
- 文生图/图生图(SD)API
LLM API 限频
本节描述 GenStudio LLM API 服务的调用限制。
速率限制指标
为了保障服务的稳定性及合理使用,我们对 GenStudio API 服务进行了以下频率限制。
- 每分钟请求次数 (RPM):过去 1 分钟内允许的最大请求次数。
- 每天请求次数 (RPD):过去 24小时内允许的最大请求次数。
- 每分钟 Token 数量 (TPM):过去 1 分钟内允许使用的最大 Token 数量。调用任意服务所输入和生成的 Token 数量都计入该范围内。
单个 API Key 限制
限制类型 | 限制数量 | 频率刷新时间窗口 | 适用 API 服务 |
---|---|---|---|
每分钟请求次数 (RPM) | 12 | 1 分钟 | 所有预置模型 |
每天请求次数 (RPD) | 3000 | 24 小时 | 所有预置模型 |
每分钟 Token 数量 (TPM) | 12000 | 1 分钟 | 所有预置模型 |
租户级别限制
租户下所有用户的 API Key 共享以下限制。
限制类型 | 限制数量 | 频率刷新时间窗口 | 适用 API 服务 |
---|---|---|---|
每分钟请求次数 (RPM) | 36 | 1 分钟 | 所有预置模型 |
每天请求次数 (RPD) | 9000 | 24 小时 | 所有预置模型 |
每分钟 Token 数量 (TPM) | 36000 | 1 分钟 | 所有预置模型 |
IMPORTANT
体验中心交互不占用 API 配额限制。
HTTP 状态码
当请求超出设定的速率限制时,API 将返回以下 HTTP 状态码和错误消息:
HTTP 状态码 | 错误消息 | 触发限制类型 |
---|---|---|
429 | 当前调用过于频繁,请稍后再试。 | RPM |
429 | 今天已经调用很多次了,请明天再来试试吧。 | RPD |
429 | 当前调用数量过多,请稍后再试。 | TPM |
SD 生图 API 限频
本节描述 GenStudio SD API 服务的调用限制。
速率限制指标
API 层暂无限制。但目前资源有限,您发起的所有请求均会进入生图队列。您可以通过 API 自行查询进度。
最佳实践建议
为了避免不必要的中断和提高用户体验,建议遵循以下最佳实践:
- 分散请求:避免短时间内发送大量请求,使用延时或指数退避策略合理安排请求频率。
- 监控使用量:监控您的 API Key 的调用次数和 Token 使用情况,以免意外超限。
- 错误处理:妥善处理 429 错误,例如通过暂停请求一段时间后重试。
监控和通知
我们提供了用量统计工具,供您实时监控 API 的使用情况。当您的 API 使用量接近限制时,我们会通过电子邮件通知您。
参见文档用量统计。
请求限制的调整
如果您的业务需求超出了当前的限制,请联系我们讨论调整限额。
常见问题
Q: 如果请求过程中触发了 Token 的配额上限(TPM)怎么办? A: 若在请求过程中超过 TPM 限制,我们会允许当前请求完成,但后续请求将受到限制。
Q: 如果请求过程中触发了内容安全策略,如何计算消耗的 Token 数量? A: 若在请求过程中触发内容安全策略,我们将生成的 Token 数量视为 0,但仍会统计当次请求中输入的 Token 数量。