GenStudio API 服务概述
欢迎访问⽆问芯穹⼤模型服务平台(GenStudio)API。GenStudio 提供开箱即用的推理 API 服务,也支持用户自行部署模型到专属实例,并以私有 API 提供推理服务。
域名
GenStudio API 服务使用以下基础域名。
https://cloud.infini-ai.com
预置大语言模型 API 服务
预置的 LLM API 服务开箱即用,通过 API 接口与专属 API Key 即可轻松集成到您的应用中。
API 域名示例:
https://cloud.infini-ai.com
+ /maas
+ /megrez-7b-instruct
+ /nvidia
+ /chat/completions
其中 megrez-7b-instruct
是模型 ID;nvidia
是推理芯片类型。在构建 API 请求时,您需要根据当前使用的模型和芯片替换为真实值。
自部署大语言模型 API 服务
将微调后的模型部署到独占实例,可提供私有 API 服务。
自部署模型 API 服务的域名示例:
https://cloud.infini-ai.com
+ /maas/deployment
+ /mif-c7kxdnah6nu5lrpw
+ /chat/completions
其中 mif-c7kxdnah6nu5lrpw
是模型服务的部署 ID,该 ID 一定带有 mif-
前缀。
预置 SD 生图模型 API 服务
预置 SD 生图模型的 API Server 路径格式如下:
https://cloud.infini-ai.com/{endpoint}
其中 {endpoint}
应替换为具体的 API 端点,如 api/maas/sd_task_api/create
、api/maas/sd_task_api/get_result
等。
托管 ComfyUI 工作流 API 服务
托管的 ComfyUI 工作流 API Server 路径格式如下:
https://cloud.infini-ai.com/{endpoint}/
其中 {endpoint}
应替换为具体的 API 端点,如 api/maas/comfy_task_api/prompt
、api/maas/comfy_task_api/upload/image
等。
鉴权
GenStudio 的 API 服务采用 Bearer Token 进行鉴权。可以通过密钥管理模块创建 API 密钥。
TIP
复制 API 密钥时,您可能需要根据提示,完成绑定手机号及二次验证操作。
接口
GenStudio API 服务已提供以下能力:
- 对话(参考 OpenAI 对话接口设计,但有一定差异)
计费
我们采取透明的计费方式,帮助您根据实际需要合理安排资金预算。
智算云平台的产品计费主要基于实际的 Token 用量,确保您按照实际使用量付费。现阶段提供限免体验,以收集用户反馈并优化体验。
预置 LLM 模型推理计费
预置模型推理服务提供即时可用的API,帮助您快速部署和运行 AI 模型。按 Token 用量计费,计费细节如下:
模型 | 芯片 | 推理单价(元/k Token) | 示例用量 | 费用计算公式 |
---|---|---|---|---|
模型 1 | A 卡 | X | 1000k | 1000 * X |
模型 1 | B 芯片 | Y | 500k | 500 * Y |
费用计算示例:
如果您调用模型 1 在 A 卡上的推理服务 1000k Token 用量,以及在 B 芯片上的推理服务 500k Token 用量,则总费用计算如下:
1000 * X(A卡单价) + 500 * Y(B芯片单价) = 总费用
文档
GenStudio 提供基于 OpenAPI 规范文档,详细描述了 API Server、路径、请求体、响应体等。支持导出。
- 大语言模型,详见 GenStudio LLM API 参考。
- SD WebUI,详见 GenStudio SD API 参考。
- ComfyUI 工作流 API,详见 GenStudio ComfyUI API 参考。