GenStudio API 服务快速上手
欢迎访问无问芯穹⼤模型服务平台(GenStudio)API。GenStudio 提供开箱即用的推理 API 服务,也支持用户自行部署模型到专属实例,并以私有 API 提供推理服务。
模型服务范围
GenStudio 预置了多种开源闭源模型,详见预置模型列表。
- 大语言模型服务,提供 OpenAI 兼容的 Chat Completions 接口
- 视觉模型服务,提供 OpenAI 兼容的 Chat Completions 接口
- M×N 模型服务,提供 OpenAI 兼容的 Chat Completions 接口,可指定不同厂商芯片,支持语言模型/视觉模型
- 嵌入模型服务,提供 OpenAI 兼容的 Embeddings 接口
- 重排序模型服务,参考主流供应商服务提供 Rerank 接口
- 图像模型服务,以 ComfyUI 托管工作流方式提供 API 服务
NOTE
GenStudio 支持定制 LLM 模型服务,可实现线上快速微调,或将自上传的 LoRA 模型部署为 API 服务,详见定制模型服务。
在线体验
GenStudio 体验教程:
获取 API 密钥
请通过智算云平台的密钥管理模块创建 API 密钥。
第三方工具集成
GenStudio 提供 OpenAI 兼容的 API 服务,可快速接入第三方 API 服务工具。
代码集成
API 接入教程
API 参考文档
GenStudio 提供基于 OpenAPI 规范文档,详细描述了 API Server、路径、请求体、响应体等。支持导出。
常见问题
404 错误
如果遇到 404 错误,一般是因为 API 域名路径配置错误。
如果在第三方工具配置出错,建议先参考API 集成教程。如果在代码中配置出错,或未找到适用的第三方工具配置教程,请参考下方说明:
以下概述了 GenStudio 各个 API 服务的 Base URL 和端点的路径组成。
大语言模型默认 API 接口: GenStudio 为预置大语言模型实现了 OpenAI 的 Chat Completions 接口。API 端点示例:
https://cloud.infini-ai.com
+/maas
+/v1/chat/completions
大语言模型 M×N 多模型芯片 API 接口: GenStudio 为部分预置大语言模型适配了多芯片推理,使用专用 API 端点。API 端点示例:
https://cloud.infini-ai.com
+/maas
+/megrez-7b-instruct
+/nvidia
+/chat/completions
其中
megrez-7b-instruct
是模型 ID;nvidia
是推理芯片类型。在构建 API 请求时,您需要根据当前使用的模型和芯片替换为真实值。自部署大语言模型 API 服务:将微调后的模型部署到独占实例,可提供私有 API 服务。API 端点示例:
https://cloud.infini-ai.com
+/maas/
+/deployment
+/mif-c7kxdnah6nu5lrpw
+/chat/completions
其中
mif-c7kxdnah6nu5lrpw
是模型服务的部署 ID,该 ID 一定带有mif-
前缀。向量嵌入模型 API 服务: GenStudio 预置向量嵌入模型 API 端点示例:
https://cloud.infini-ai.com
+/maas
+/v1/embeddings
重排序模型 API 服务: GenStudio 重排序模型 API 端点示例:
https://cloud.infini-ai.com
+/maas
+/v1/rerank
托管 ComfyUI 工作流 API 服务:
bashhttps://cloud.infini-ai.com/{endpoint}/
其中
{endpoint}
应替换为具体的 API 端点,如api/maas/comfy_task_api/prompt
、api/maas/comfy_task_api/upload/image
等。
在哪里可以找到详细的 API 文档?
GenStudio 提供基于 OpenAPI 规范的 API 参考文档。
我可以部署自己的模型吗?
可以,您可以将微调后的模型部署到独占实例,并通过私有 API 服务访问。这些部署会有一个以"mif-"为前缀的唯一部署 ID。
该服务目前仅面向企业客户开放。