GenStudio API 服务概述
欢迎访问⽆问芯穹⼤模型服务平台(GenStudio)API。GenStudio 提供开箱即用的推理 API 服务,也支持用户自行部署模型到专属实例,并以私有 API 提供推理服务。
鉴权
GenStudio 的 API 服务采用 Bearer Token 进行鉴权。可以通过密钥管理模块创建 API 密钥。
TIP
复制 API 密钥时,您可能需要根据提示,完成绑定手机号及二次验证操作。
文本模型 API 服务
大语言模型默认 API 接口: GenStudio 为预置大语言模型实现了 OpenAI 的 Chat Completions 接口。API 端点示例:
https://cloud.infini-ai.com
+/maas
+/v1/chat/completions
大语言模型 M×N 多模型芯片 API 接口: GenStudio 为部分预置大语言模型适配了多芯片推理,使用专用 API 端点。API 端点示例:
https://cloud.infini-ai.com
+/maas
+/megrez-7b-instruct
+/nvidia
+/chat/completions
其中
megrez-7b-instruct
是模型 ID;nvidia
是推理芯片类型。在构建 API 请求时,您需要根据当前使用的模型和芯片替换为真实值。自部署大语言模型 API 服务:将微调后的模型部署到独占实例,可提供私有 API 服务。API 端点示例:
https://cloud.infini-ai.com
+/maas/
+/deployment
+/mif-c7kxdnah6nu5lrpw
+/chat/completions
其中
mif-c7kxdnah6nu5lrpw
是模型服务的部署 ID,该 ID 一定带有mif-
前缀。向量嵌入模型 API 服务: GenStudio 预置向量嵌入模型 API 端点示例:
https://cloud.infini-ai.com
+/maas
+/v1/embeddings
重排序模型 API 服务: GenStudio 重排序模型 API 端点示例:
https://cloud.infini-ai.com
+/maas
+/v1/rerank
图像模型 API 服务
托管 ComfyUI 工作流 API 服务:
bashhttps://cloud.infini-ai.com/{endpoint}/
其中
{endpoint}
应替换为具体的 API 端点,如api/maas/comfy_task_api/prompt
、api/maas/comfy_task_api/upload/image
等。预置 SD 生图模型 API 服务:
bashhttps://cloud.infini-ai.com/{endpoint}
其中
{endpoint}
应替换为具体的 API 端点,如api/maas/sd_task_api/create
、api/maas/sd_task_api/get_result
等。
计费
我们采取透明的计费方式,帮助您根据实际需要合理安排资金预算。
NOTE
现阶段 GenStudio 预置模型 API 服务提供限免体验。企业用户请咨询商务。
M×N 推理服务计费策略
预置大语言模型 M×N 推理服务按 Token 用量计费,不同的模型和芯片组合有不同的每 Token 定价。总费用通过将 Token 用量与每个模型-芯片组合的相应费率相乘计算得出。计费示例如下:
模型 | 芯片 | 推理单价(元/k Token) | 示例用量 | 费用计算公式 |
---|---|---|---|---|
模型 1 | A 芯片 | X | 1000k | 1000 * X |
模型 1 | B 芯片 | Y | 500k | 500 * Y |
费用计算示例:
如果您调用模型 1 在 A 卡上的推理服务 1000k Token 用量,以及在 B 芯片上的推理服务 500k Token 用量,则总费用计算如下:
1000 * X(A卡单价) + 500 * Y(B芯片单价) = 总费用
文档
GenStudio 提供基于 OpenAPI 规范文档,详细描述了 API Server、路径、请求体、响应体等。支持导出。
- 大语言模型,详见 GenStudio LLM API 参考。
- SD WebUI,详见 GenStudio SD API 参考。
- ComfyUI 工作流 API,详见 GenStudio ComfyUI API 参考。
常见问题
是否有针对新手的教程?
是的,GenStudio 提供新手友好的 API 和体验教程:
在哪里可以找到详细的 API 文档?
GenStudio 提供基于 OpenAPI 规范的文档,包括:
我可以部署自己的模型吗?
可以,您可以将微调后的模型部署到独占实例,并通过私有 API 服务访问。这些部署会有一个以"mif-"为前缀的唯一部署 ID。