模型部署概述
GenStudio 提供模型部署服务,支持将模型一键部署为在线服务,并提供包括身份认证、服务鉴权、模型安全等全面的保障,帮助您快速将模型能力集成到生产级应用中。
NOTE
- 支持将微调后的模型部署为在线服务。暂未支持将预置第三方模型部署为在线服务。
- 暂仅支持部署到独占实例。使用独占实例托管您的模型时,我们将根据模型实际使用的算力和运行时长(分钟数)收取推理费用。详见 GenStudio 价格页。
基本操作
访问智算云控制台的模型列表页面,可对模型服务进行增、删、查、启动、停止等操作。
- 创建模型服务:详细步骤参见创建模型服务。
- 停止模型服务:在模型服务列表中右侧操作栏中。停止操作需二次确认。服务停止后,底层资源释放,但您仍可查看服务的详情、监控、日志。
- 启动模型服务:在模型服务列表中右侧操作栏中。模型服务部署后可自启动。停止后,可再启动。
- 编辑模型服务:在模型服务列表中右侧操作栏中,仅支持编辑名称和描述。
- 删除模型服务:在模型服务列表中右侧操作栏中。删除操作需二次确认。删除后不可恢复。
- 查看模型服务详情:在模型服务列表中右侧操作栏中,点击进入详情页面,可查看 API 调用地址、监控指标、服务日志等。
查看模型服务详情
在模型服务列表中,点击任意条目右侧的详情操作按钮,进入模型服务详情页。详情页包含以下标签: