扩缩容
AIStudio 推理服务支持手动和自动扩缩容,可帮助您有效管理服务容量,对应业务流量的变化,同时在资源使用上保持高效和节约。
手动扩缩容
手动扩缩容是对推理服务实例数量进行手动增减。
如果需求修改推理服务实例数量,请在推理服务列表页面找到该服务,点击「扩缩容」按钮。
在弹窗中,修改推理服务实例数量。修改提交后,推理服务将立即执行扩容或缩容。
DANGER
手动扩缩容将导致推理服务实例数量立即变更,如果当前存在正在生效的定时扩缩容计划,请谨慎操作。
定时扩缩容
您可以预估业务流量高峰低谷时间段,在流量高峰期增加服务实例数量,在低谷期减少,以优化成本并提高服务的稳定性。
在推理服务详情页面,点击「扩缩容」标签,可以创建并查看定时扩缩容计划。
创建定时扩缩容计划
您可以创建一个或多个扩缩容计划。
点击创建定时扩缩容。填写以下必要信息:
- 目标实例数: 期望达到的实例数量。不得超过您购买的资源上限。
- 循环设置:设置定时扩缩容的时间频率(每天或每周)和时间段(起点和终点)。
- 名称:为您的计划命名以便管理和识别,确保名称在同一服务中唯一。
在保存计划之前,系统会自动检测任何潜在的时间冲突:
- 若无冲突,则新计划将默认激活。
- 若检测到冲突,系统则提示用户,并将新计划设为默认关闭状态。
确认信息无误后保存计划。系统会进行以下操作:
- 根据调度策略,自动执行扩缩容操作。
NOTE
在执行缩容计划时,如存在异常实例,优先停止异常实例。
- 保持服务的当前运行状态(例如,如果服务在操作前已停止,则在操作后仍将停止)。
- 如果当前时间已超过设置的扩缩容时间,则计划将从下一个周期开始生效。
- 根据调度策略,自动执行扩缩容操作。
管理和维护多个扩缩容计划
您可以创建多个计划,按需启用或停用计划。
- 修改 :更新计划的目标实例数、循环设置(定时设置)或名称。最长 5 分钟内生效。
- 开启/关闭 :按需启用或停用计划。如果待启用的计划与当前生效的计划时间冲突,系统将提示您检查冲突。
- 删除 :移除不再需要的扩缩容计划。
最佳实践和注意事项
- 扩缩容操作应遵循业务需求和资源实际情况,以实现效率最大化。
- 在设置定时扩缩容时,注意服务可能出现的状态变化以避免影响用户体验。