2024-11-21 一站式 AI 平台生日大派对!2024-11-21 一站式 AI 平台生日大派对! 无问芯穹特别推出多项超值福利!立即参与
Skip to content

GenStudio API 服务概述

欢迎访问⽆问芯穹⼤模型服务平台(GenStudio)API。GenStudio 提供开箱即用的推理 API 服务,也支持用户自行部署模型到专属实例,并以私有 API 提供推理服务。

TIP

我们提供新手友好的 API 使用教程,帮助您更快调通我们的 API,欢迎体验。

鉴权

GenStudio 的 API 服务采用 Bearer Token 进行鉴权。可以通过密钥管理模块创建 API 密钥。

alt text

TIP

复制 API 密钥时,您可能需要根据提示,完成绑定手机号及二次验证操作。

文本模型 API 服务

  • 大语言模型默认 API 接口: GenStudio 为预置大语言模型实现了 OpenAI 的 Chat Completions 接口。API 端点示例:

    https://cloud.infini-ai.com + /maas + /v1/chat/completions

  • 大语言模型 M×N 多模型芯片 API 接口: GenStudio 为部分预置大语言模型适配了多芯片推理,使用专用 API 端点。API 端点示例:

    https://cloud.infini-ai.com + /maas + /megrez-7b-instruct + /nvidia + /chat/completions

    其中 megrez-7b-instruct 是模型 ID;nvidia 是推理芯片类型。在构建 API 请求时,您需要根据当前使用的模型和芯片替换为真实值。

  • 自部署大语言模型 API 服务:将微调后的模型部署到独占实例,可提供私有 API 服务。API 端点示例:

    https://cloud.infini-ai.com + /maas/ + /deployment + /mif-c7kxdnah6nu5lrpw + /chat/completions

    其中 mif-c7kxdnah6nu5lrpw 是模型服务的部署 ID,该 ID 一定带有 mif- 前缀。

  • 向量嵌入模型 API 服务: GenStudio 预置向量嵌入模型 API 端点示例:

    https://cloud.infini-ai.com + /maas + /v1/embeddings

  • 重排序模型 API 服务: GenStudio 重排序模型 API 端点示例:

    https://cloud.infini-ai.com + /maas + /v1/rerank

图像模型 API 服务

  • 托管 ComfyUI 工作流 API 服务

    bash
    https://cloud.infini-ai.com/{endpoint}/

    其中 {endpoint} 应替换为具体的 API 端点,如 api/maas/comfy_task_api/promptapi/maas/comfy_task_api/upload/image 等。

  • 预置 SD 生图模型 API 服务

    bash
    https://cloud.infini-ai.com/{endpoint}

    其中 {endpoint} 应替换为具体的 API 端点,如 api/maas/sd_task_api/createapi/maas/sd_task_api/get_result 等。

计费

我们采取透明的计费方式,帮助您根据实际需要合理安排资金预算。

NOTE

现阶段 GenStudio 预置模型 API 服务提供限免体验。企业用户请咨询商务。

M×N 推理服务计费策略

预置大语言模型 M×N 推理服务按 Token 用量计费,不同的模型和芯片组合有不同的每 Token 定价。总费用通过将 Token 用量与每个模型-芯片组合的相应费率相乘计算得出。计费示例如下:

模型芯片推理单价(元/k Token)示例用量费用计算公式
模型 1A 芯片X1000k1000 * X
模型 1B 芯片Y500k500 * Y

费用计算示例:

如果您调用模型 1 在 A 卡上的推理服务 1000k Token 用量,以及在 B 芯片上的推理服务 500k Token 用量,则总费用计算如下:

1000 * X(A卡单价) + 500 * Y(B芯片单价) = 总费用

文档

GenStudio 提供基于 OpenAPI 规范文档,详细描述了 API Server、路径、请求体、响应体等。支持导出。

常见问题

是否有针对新手的教程?

是的,GenStudio 提供新手友好的 API 和体验教程:

在哪里可以找到详细的 API 文档?

GenStudio 提供基于 OpenAPI 规范的文档,包括:

我可以部署自己的模型吗?

可以,您可以将微调后的模型部署到独占实例,并通过私有 API 服务访问。这些部署会有一个以"mif-"为前缀的唯一部署 ID。