GenStudio API 服务快速上手

欢迎使用⼤模型服务平台（GenStudio）。GenStudio 提供开箱即用的推理 API 服务，也支持用户自行部署模型到专属实例，并以私有 API 提供推理服务。

模型服务范围

GenStudio 预置了多种开源闭源模型，详见预置模型列表。

• 大语言模型服务，提供 OpenAI 兼容的 Chat Completions 接口
• 视觉模型服务，提供 OpenAI 兼容的 Chat Completions 接口
• M×N 模型服务，提供 OpenAI 兼容的 Chat Completions 接口，可指定不同厂商芯片，支持语言模型/视觉模型
• 嵌入模型服务，提供 OpenAI 兼容的 Embeddings 接口
• 重排序模型服务，参考主流供应商服务提供 Rerank 接口
• 图像模型服务，以 ComfyUI 托管工作流方式提供 API 服务

注意

GenStudio 支持定制 LLM 模型服务，可实现线上快速微调，或将自上传的模型部署为 API 服务，详见定制模型服务。

在线体验

GenStudio 体验教程：

• 在线体验

获取 API 密钥

请通过智算云平台的密钥管理模块创建 API 密钥。

API 密钥管理

第三方工具集成

GenStudio 提供 OpenAI 兼容的 API 服务，可快速接入第三方 API 服务工具。

第三方工具集成步骤，请参考教程：

📖 使用 Cursor 集成 GenStudio API

📖 使用 Cline 集成 GenStudio API

📖 使用 CherryStudio 集成 GenStudio API

📖 使用 Chatbox 集成 GenStudio API

📖 在 ChatHub 中使用 GenStudio API 服务

📖 在 Page Assist 中使用 GenStudio API 服务

📖 在 Sider 中使用 GenStudio API 服务

📖 在 Deep Research 中使用 GenStudio API

📖 在 NextChat 中使用 GenStudio API 服务

📖 在 Obsidian Copilot 中使用 GenStudio API 服务

📖 使用 One API 集成 GenStudio API

代码集成

API 接入教程

• 大语言模型 API 接入教程
• 视觉模型 API 接入教程
• Functional calling 教程
• 向量嵌入模型 API 接入教程
• 重排序模型 API 接入教程

API 参考文档

GenStudio 提供基于 OpenAPI 规范文档，详细描述了 API Server、路径、请求体、响应体等。支持导出。

📋 大模型服务平台 API 参考文档

常见问题

大模型服务平台提供哪些模型？

大模型服务平台（GenStudio）集成并维护了来自主流厂商的模型服务，称为预置模型。您可以通过模型广场页面顶部切换到不同的分类，包括但不限于：

• 大语言模型
• 生图大模型
• 视频大模型
• 向量模型
• 重排序模型
• 多模型模型
• 语音大模型

预置模型会不定期更新，文档中未列出具体的模型列表。请移步 GenStudio 模型广场查看。

模型广场

如何查看模型的上下文长度、最大生成长度？如何查找长文本模型？

文档中未列出具体的模型列表，您需要前往 GenStudio 模型广场查看。模型广场的每个模型卡片（和模型详情页）会显示模型适合的任务类型（如文本生成、代码生成、深度推理、工具调用等）、上下文长度、最大生成长度等关键信息。

模型广场

大模型服务平台 LLM API 返回 404 错误

如果遇到 404 错误，一般是因为 API 域名路径配置错误。

如果在第三方工具配置出错，建议先参考API 集成教程。如果在代码中配置出错，或未找到适用的第三方工具配置教程，请参考下方说明：

以下概述了 GenStudio 各个 API 服务的 Base URL 和端点的路径组成。

• 大语言模型默认 API 接口： GenStudio 为预置大语言模型实现了 OpenAI 的 Chat Completions 接口。API 端点示例：

  https://cloud.infini-ai.com + /maas + /v1/chat/completions

• 大语言模型 M×N 多模型芯片 API 接口： GenStudio 为部分预置大语言模型适配了多芯片推理，使用专用 API 端点。API 端点示例：

  https://cloud.infini-ai.com + /maas + /megrez-7b-instruct + /nvidia + /chat/completions

  其中 megrez-7b-instruct 是模型 ID；nvidia 是推理芯片类型。在构建 API 请求时，您需要根据当前使用的模型和芯片替换为真实值。

• 自部署大语言模型 API 服务：将微调后的模型部署到独占实例，可提供私有 API 服务。API 端点示例：

  https://cloud.infini-ai.com + /maas/ + /deployment + /mif-c7kxdnah6nu5lrpw + /chat/completions

  其中 mif-c7kxdnah6nu5lrpw 是模型服务的部署 ID，该 ID 一定带有 mif- 前缀。

• 向量嵌入模型 API 服务： GenStudio 预置向量嵌入模型 API 端点示例：

  https://cloud.infini-ai.com + /maas + /v1/embeddings

• 重排序模型 API 服务： GenStudio 重排序模型 API 端点示例：

  https://cloud.infini-ai.com + /maas + /v1/rerank

• 托管 ComfyUI 工作流 API 服务：

  https://cloud.infini-ai.com/{endpoint}/

  其中 {endpoint} 应替换为具体的 API 端点，如 api/maas/comfy_task_api/prompt、api/maas/comfy_task_api/upload/image 等。

如何找到详细的 GenStudio API 文档？

大模型服务平台（GenStudio）提供基于 OpenAPI 规范的 API 参考文档。

📋 大模型服务平台 API 参考文档

📋 ComfyUI 托管工作流 HTTP API 参考文档

📋 ComfyUI 托管工作流 WebSocket API 参考文档

我可以在 GenStudio 部署自己的模型吗？

可以，您可以将微调后的模型通过大模型服务平台（GenStudio）部署到独占实例，并通过私有 API 服务访问。这些部署会有一个以"mif-"为前缀的唯一部署 ID。

该服务目前仅面向企业客户开放。