推理服务已支持自动扩缩容 📣
2024-09-14
AIStudio 推理服务 新增「自动扩缩容」能力,允许您以推理服务的资源监控指标为依据,动态增减实例数量,弹性应对业务流量变化。
在推理服务详情页面,切换「扩缩容」标签,再切换到定时扩缩容,即可开始配置。详见文档扩缩容。
NOTE
- 「自动扩缩容」与「定时扩缩容」互斥。配置自动扩缩容前,请先禁用定时扩缩容计划。
- 「自动扩缩容」会覆盖「手动扩缩容」的执行结果。如果想要手动管理实例数量,建议不要启用自动扩缩容。
2024-09-14
AIStudio 推理服务 新增「自动扩缩容」能力,允许您以推理服务的资源监控指标为依据,动态增减实例数量,弹性应对业务流量变化。
在推理服务详情页面,切换「扩缩容」标签,再切换到定时扩缩容,即可开始配置。详见文档扩缩容。
NOTE