Skip to content

模型部署服务

GenStudio 提供模型部署服务,支持将模型一键部署为在线服务,帮助您快速将模型能力集成到应用中。

NOTE

  • 支持将微调后的模型部署为在线服务。暂未支持将预置第三方模型部署为在线服务。
  • 暂仅支持部署到独占实例。使用独占实例托管您的模型时,我们将根据模型实际使用的算力和运行时长(分钟数)收取推理费用。详见 GenStudio 价格页

基本操作

访问智算云控制台的模型列表页面,可对模型服务进行增、删、查、启动、停止等操作。

alt text

  • 创建模型服务:详细步骤参见创建模型服务
  • 停止模型服务:在模型服务列表中右侧操作栏中。停止操作需二次确认。服务停止后,底层资源释放,但您仍可查看服务的详情、监控、日志。
  • 启动模型服务:在模型服务列表中右侧操作栏中。模型服务部署后可自启动。停止后,可再启动。
  • 编辑模型服务:在模型服务列表中右侧操作栏中,仅支持编辑名称和描述。
  • 删除模型服务:在模型服务列表中右侧操作栏中。删除操作需二次确认。删除后不可恢复。
  • 查看模型服务详情:在模型服务列表中右侧操作栏中,点击进入详情页面,可查看 API 调用地址、监控指标、服务日志等。

查看模型服务详情

在模型服务列表中,点击任意条目右侧的详情操作按钮,进入模型服务详情页。详情页包含以下标签:

  • 服务配置:该服务的基本信息和配置,与创建模型服务时的配置一致。
  • 调用说明:描述如何获取 API 密钥,提供调用示例。
  • 服务监控:可查看业务监控指标,详见服务监控
  • 服务日志:默认展示第一个实例的日志,日志每 10s 采集一次。