AIStudio SSH 公钥管理,一处配置,处处可用AIStudio SSH 公钥管理,一处配置,处处可用 ,只为更佳开发体验如何配置
Skip to content

GenStudio API 服务快速上手

欢迎访问无问芯穹⼤模型服务平台(GenStudio)API。GenStudio 提供开箱即用的推理 API 服务,也支持用户自行部署模型到专属实例,并以私有 API 提供推理服务。

模型服务范围

GenStudio 预置了多种开源闭源模型,详见预置模型列表

  • 大语言模型服务,提供 OpenAI 兼容的 Chat Completions 接口
  • 视觉模型服务,提供 OpenAI 兼容的 Chat Completions 接口
  • M×N 模型服务,提供 OpenAI 兼容的 Chat Completions 接口,可指定不同厂商芯片,支持语言模型/视觉模型
  • 嵌入模型服务,提供 OpenAI 兼容的 Embeddings 接口
  • 重排序模型服务,参考主流供应商服务提供 Rerank 接口
  • 图像模型服务,以 ComfyUI 托管工作流方式提供 API 服务

NOTE

GenStudio 支持定制 LLM 模型服务,可实现线上快速微调,或将自上传的 LoRA 模型部署为 API 服务,详见定制模型服务

在线体验

GenStudio 体验教程:

获取 API 密钥

请通过智算云平台的密钥管理模块创建 API 密钥。

第三方工具集成

GenStudio 提供 OpenAI 兼容的 API 服务,可快速接入第三方 API 服务工具。

第三方工具集成步骤,请参考教程:

代码集成

API 接入教程

API 参考文档

GenStudio 提供基于 OpenAPI 规范文档,详细描述了 API Server、路径、请求体、响应体等。支持导出。

常见问题

404 错误

如果遇到 404 错误,一般是因为 API 域名路径配置错误。

如果在第三方工具配置出错,建议先参考API 集成教程。如果在代码中配置出错,或未找到适用的第三方工具配置教程,请参考下方说明:

以下概述了 GenStudio 各个 API 服务的 Base URL 和端点的路径组成。

  • 大语言模型默认 API 接口: GenStudio 为预置大语言模型实现了 OpenAI 的 Chat Completions 接口。API 端点示例:

    https://cloud.infini-ai.com + /maas + /v1/chat/completions

  • 大语言模型 M×N 多模型芯片 API 接口: GenStudio 为部分预置大语言模型适配了多芯片推理,使用专用 API 端点。API 端点示例:

    https://cloud.infini-ai.com + /maas + /megrez-7b-instruct + /nvidia + /chat/completions

    其中 megrez-7b-instruct 是模型 ID;nvidia 是推理芯片类型。在构建 API 请求时,您需要根据当前使用的模型和芯片替换为真实值。

  • 自部署大语言模型 API 服务:将微调后的模型部署到独占实例,可提供私有 API 服务。API 端点示例:

    https://cloud.infini-ai.com + /maas/ + /deployment + /mif-c7kxdnah6nu5lrpw + /chat/completions

    其中 mif-c7kxdnah6nu5lrpw 是模型服务的部署 ID,该 ID 一定带有 mif- 前缀。

  • 向量嵌入模型 API 服务: GenStudio 预置向量嵌入模型 API 端点示例:

    https://cloud.infini-ai.com + /maas + /v1/embeddings

  • 重排序模型 API 服务: GenStudio 重排序模型 API 端点示例:

    https://cloud.infini-ai.com + /maas + /v1/rerank

  • 托管 ComfyUI 工作流 API 服务

    bash
    https://cloud.infini-ai.com/{endpoint}/

    其中 {endpoint} 应替换为具体的 API 端点,如 api/maas/comfy_task_api/promptapi/maas/comfy_task_api/upload/image 等。

在哪里可以找到详细的 API 文档?

GenStudio 提供基于 OpenAPI 规范的 API 参考文档。

我可以部署自己的模型吗?

可以,您可以将微调后的模型部署到独占实例,并通过私有 API 服务访问。这些部署会有一个以"mif-"为前缀的唯一部署 ID。

该服务目前仅面向企业客户开放。