推理服务
一站式 AI 平台(AIStudio)的推理服务,可快速便捷地将训练好的模型部署成线上服务,接入实际业务场景。
本章节将介绍 AIStudio 推理服务的基本功能。
基本操作
智算云控制台的推理服务页面提供了基本的增、删、查等操作。页面默认展示当前用户的推理服务列表,可切换为展示当前租户下全部推理服务。
管理操作按钮:
- 克隆:快速复制已有推理服务配置,修改后再提交。
- 停止:停止操作需二次确认。
- 启动:启动已经停止的推理服务。
- 删除:删除操作需二次确认。删除后不可恢复。
- 升级:支持以不停服的方式修改运行中的推理服务。参考升级服务。
查看操作按钮:
- 查看推理日志:点击可跳转至日志视图。默认展示第一个实例的日志,日志每 10s 采集一次。
- 调用推理服务:点击展示调用地址。参考查看调用信息。
NOTE
在详情页面可以修改推理服务。当前仅支持编辑服务名称和描述。
查找推理服务
推理服务名称和 ID 支持模糊搜索。状态、资源池、创建者等字段支持筛选。时间字段支持排序。
创建推理服务
详细步骤可参见部署服务。
查看推理服务详情
在推理服务列表中,点击任意条目右侧的详情操作按钮,可查看该推理服务的详情。推理服务详情页包含基础配置、规格信息、挂载信息、实例信息。
查看调用信息
在推理服务列表中,点击任意条目右侧的调用按钮,可查看该推理服务的调用信息,其中包含内网、外网访问地址。
IMPORTANT
目前仅直接提供内网环境访问地址。如需从公网访问,请参见调用推理服务。
常见问题
如何修改线上推理服务的镜像和实例的 CPU、GPU、内存配置?
您可以通过升级服务的方式修改推理服务的镜像、实例规格(CPU、GPU、内存配置)。
详见升级服务。
如何修改线上推理服务的实例数量?
线上推理服务支持通过自动扩缩容和手动扩缩容的方式修改实例数量。但是算力资源不足时,无法扩容,您需要购买更多资源。
详见扩缩容。
如何修改推理服务使用的资源池?
推理服务部署后,不支持修改资源池。