Skip to content

推理服务

一站式 AI 平台(AI Studio)的推理服务,可快速便捷地将训练好的模型部署成线上服务,接入实际业务场景。

本章节将介绍 AIStudio 推理服务的基本功能。

基本操作

智算云控制台的推理服务页面提供了基本的增、删、查等操作。

页面默认展示当前用户的推理服务列表,可切换为展示当前租户下全部推理服务。名称和 ID 支持模糊搜索。状态、资源池、创建者等字段支持筛选。时间字段支持排序。

  • 创建推理服务:详细步骤参见部署与测试
  • 克隆推理服务:在推理服务列表右侧操作栏中,点击可快速复制已有推理服务配置,修改后再提交。
  • 查看推理日志:在任务列表中右侧操作栏中,点击可跳转至日志视图。默认展示第一个实例的日志,日志每 10s 采集一次。
  • 停止推理服务:在推理服务列表右侧操作栏中。停止操作需二次确认。
  • 启动推理服务:在推理服务列表右侧操作栏中。启动已经停止的推理服务。
  • 升级推理服务:在推理服务列表右侧操作栏中。支持以不停服的方式修改运行中的推理服务。参考升级服务
  • 删除推理服务:在推理服务列表右侧操作栏中。删除操作需二次确认。
  • 调用推理服务:在推理服务列表右侧操作栏中,点击展示调用地址。参考查看调用信息

NOTE

在详情页面可以修改推理服务。当前仅支持编辑服务名称和描述。

查看推理服务详情

在推理服务列表中,点击任意条目右侧的详情操作按钮,可查看该推理服务的详情。推理服务详情页包含基础配置规格信息挂载信息实例信息

alt text

alt text

查看调用信息

在推理服务列表中,点击任意条目右侧的调用按钮,可查看该推理服务的调用信息,其中包含内网、外网访问地址。

IMPORTANT

推理服务默认不会生成外网访问地址。如有需要,请联系 pre-sales@infini-ai.com