GenStudio API 调用限制
本章节将向您介绍 GenStudio API 服务的调用限制及相关最佳实践，以确保服务的稳定性并防止滥用。
- 大语言模型（LLM） API
- 文生图/图生图（SD）API
LLM API 限频
本节描述 GenStudio LLM API 服务的调用限制。
速率限制指标
为了保障服务的稳定性及合理使用，我们对 GenStudio API 服务进行了以下频率限制。
- 每分钟请求次数 (RPM)：过去 1 分钟内允许的最大请求次数。
- 每天请求次数 (RPD)：过去 24小时内允许的最大请求次数。
- 每分钟 Token 数量 (TPM)：过去 1 分钟内允许使用的最大 Token 数量。调用任意服务所输入和生成的 Token 数量都计入该范围内。
单个 API Key 限制
| 限制类型 | 限制数量 | 频率刷新时间窗口 | 适用 API 服务 |
|---|---|---|---|
| 每分钟请求次数 (RPM) | 12 | 1 分钟 | 所有预置模型 |
| 每天请求次数 (RPD) | 3000 | 24 小时 | 所有预置模型 |
| 每分钟 Token 数量 (TPM) | 12000 | 1 分钟 | 所有预置模型 |
租户级别限制
租户下所有用户的 API Key 共享以下限制。
| 限制类型 | 限制数量 | 频率刷新时间窗口 | 适用 API 服务 |
|---|---|---|---|
| 每分钟请求次数 (RPM) | 36 | 1 分钟 | 所有预置模型 |
| 每天请求次数 (RPD) | 9000 | 24 小时 | 所有预置模型 |
| 每分钟 Token 数量 (TPM) | 36000 | 1 分钟 | 所有预置模型 |
IMPORTANT
体验中心交互不占用 API 配额限制。
HTTP 状态码
当请求超出设定的速率限制时，API 将返回以下 HTTP 状态码和错误消息：
| HTTP 状态码 | 错误消息 | 触发限制类型 |
|---|---|---|
| 429 | 当前调用过于频繁，请稍后再试。 | RPM |
| 429 | 今天已经调用很多次了，请明天再来试试吧。 | RPD |
| 429 | 当前调用数量过多，请稍后再试。 | TPM |
SD 生图 API 限频
本节描述 GenStudio SD API 服务的调用限制。
速率限制指标
API 层暂无限制。但目前资源有限，您发起的所有请求均会进入生图队列。您可以通过 API 自行查询进度。
最佳实践建议
为了避免不必要的中断和提高用户体验，建议遵循以下最佳实践：
- 分散请求：避免短时间内发送大量请求，使用延时或指数退避策略合理安排请求频率。
- 监控使用量：监控您的 API Key 的调用次数和 Token 使用情况，以免意外超限。
- 错误处理：妥善处理 429 错误，例如通过暂停请求一段时间后重试。
监控和通知
我们提供了用量统计工具，供您实时监控 API 的使用情况。当您的 API 使用量接近限制时，我们会通过电子邮件通知您。
参见文档用量统计。
请求限制的调整
如果您的业务需求超出了当前的限制，请联系我们讨论调整限额。
常见问题
Q: 如果请求过程中触发了 Token 的配额上限（TPM）怎么办？ A: 若在请求过程中超过 TPM 限制，我们会允许当前请求完成，但后续请求将受到限制。
Q: 如果请求过程中触发了内容安全策略，如何计算消耗的 Token 数量？ A: 若在请求过程中触发内容安全策略，我们将生成的 Token 数量视为 0，但仍会统计当次请求中输入的 Token 数量。