部署模型服务
GenStudio 支持将模型部署为在线服务,并通过 OpenAI 兼容 API 进行调用。
可部署的模型
如果您已使用 GenStudio 模型微调功能完成微调,在部署时选取「微调任务」,可直接部署微调后的模型。
如果您本地已有微调模型,可以在 GenStudio 上传为模型资产,部署为在线服务。请提前上传模型资产。
创建部署任务
访问智算云控制台的模型服务页面,可创建模型服务。
- 选择模型来源。
- 微调任务:使用 GenStudio 微调任务进行一键部署,平台会从选中的微调任务中获取模型。
- 我的模型:从用户上传的模型资产中获取模型。
- 选择资源来源,当前仅支持公共资源池,即使用公共资源池中的计算资源。
NOTE
平台默认分配推理芯片,暂不支持自定义。
- 选择资源配置,当前仅支持性能优先模式。
- 性能优先指使用独占计算资源,在服务期间有更好的性能保障,适合对实际业务有高性能要求的场景。平台按资源规格和使用时长计费。
- 填写基本信息,包括部署名称、部署描述。
- 部署任务提交后,系统会自动进行部署。在部署过程中,平台会自动生成部署 ID。部署 ID 将用于生成 API 服务的调用地址。
- 部署完成后,模型服务进入在线状态。
体验模型服务
模型服务部署成功后,进入在线状态,此时可通过 GenStudio 体验中心直接体验,并提供公网可访问的 API 服务。
通过体验中心使用服务
找到当前处于在线状态的模型服务,点击右侧详情按钮进入详情页,点击右上角立即体验,即可打开对话页面,对话界面与体验中心的预置模型一致。
通过 API 使用服务
模型服务提供 OpenAI 兼容的对话 API 端点。如需直接调用 API,或在 OpenAI 兼容的工具集成该 API 服务,请参考下文获取 API 服务地址和密钥。
NOTE
如果在集成 API 服务时遇到问题,请参考 GenStudio API 使用教程。该教程中提供了使用 Curl、OpenAI Python SDK 和 LangChain 的代码示例。
获取 API 服务地址
在模型服务列表中,点击任意条目右侧的详情按钮,切换调用说明标签,可查看该模型服务的调用地址和调用示例。
自部署模型服务的 API 域名规则:
https://cloud.infini-ai.com
+ /maas/deployment/
+ mif-c7kxdnah6nu5lrpw
+ /chat/completions
其中 mif-c7kxdnah6nu5lrpw
是模型服务的部署 ID,该 ID 一定带有 mif-
前缀。
NOTE
请注意自部署的模型服务 API 域名规则,与平台提供的公共 API 域名规则不同。
获取 API 密钥
请前往 GenStudio 密钥管理页面,复制预置的 API 密钥。根据系统提示完成二次验证后,可复制密钥。
常见问题
可以部署自己的模型吗?
如果您本地已有 SFT 微调模型或 LoRA 权重模型,可以在 GenStudio 上传为模型资产,部署为在线服务。请参见上传模型资产。