推理服务
一站式 AI 平台(AI Studio)的推理服务,可快速便捷地将训练好的模型部署成线上服务,接入实际业务场景。
本章节将介绍 AIStudio 推理服务的基本功能。
基本操作
智算云控制台的推理服务页面提供了基本的增、删、查等操作。
页面默认展示当前用户的推理服务列表,可切换为展示当前租户下全部推理服务。名称和 ID 支持模糊搜索。状态、资源池、创建者等字段支持筛选。时间字段支持排序。
- 创建推理服务:详细步骤参见部署与测试。
- 克隆推理服务:在推理服务列表右侧操作栏中,点击可快速复制已有推理服务配置,修改后再提交。
- 查看推理日志:在任务列表中右侧操作栏中,点击可跳转至日志视图。默认展示第一个实例的日志,日志每 10s 采集一次。
- 停止推理服务:在推理服务列表右侧操作栏中。停止操作需二次确认。
- 启动推理服务:在推理服务列表右侧操作栏中。启动已经停止的推理服务。
- 升级推理服务:在推理服务列表右侧操作栏中。支持以不停服的方式修改运行中的推理服务。参考升级服务。
- 删除推理服务:在推理服务列表右侧操作栏中。删除操作需二次确认。
- 调用推理服务:在推理服务列表右侧操作栏中,点击展示调用地址。参考查看调用信息。
NOTE
在详情页面可以修改推理服务。当前仅支持编辑服务名称和描述。
查看推理服务详情
在推理服务列表中,点击任意条目右侧的详情操作按钮,可查看该推理服务的详情。推理服务详情页包含基础配置、规格信息、挂载信息、实例信息。
查看调用信息
在推理服务列表中,点击任意条目右侧的调用按钮,可查看该推理服务的调用信息,其中包含内网、外网访问地址。
IMPORTANT
目前仅直接提供内网环境访问地址。如需从公网访问,请参见调用推理服务。