GenStudio 于 2025 年 5 月 推出 GenStudio 高级版/企业版升级服务,大幅提升 API 调用频率GenStudio 于 2025 年 5 月 推出 GenStudio 高级版/企业版升级服务,大幅提升 API 调用频率 ,依然保留免费基础服务了解计费
Skip to content

大语言模型 API 服务使用教程

本文将指导您如何通过常用工具调用 GenStudio 预置的大语言模型 API 服务。

提示

GenStudio 还支持将模型部署到独占实例,提供私有 API 服务。请注意自部署的模型服务 API 域名与平台提供的公共 API 域名不同。详见部署模型服务

OpenAI API 兼容性

GenStudio 大语言模型 API 服务提供一个实现 OpenAI 的 Chat Completions 的 API 接口。

注意

关于 API 端点的路径、参数等细节,详见 大语言模型 API 参考文档。

前提条件

使用 Curl

您可以通过调用示例中的 curl 命令直接发送 API 请求。以下请求示例发起一个单轮对话。示例默认从环境变量加载 API 密钥和 Base URL。请注意提前设置环境变量。

  • API_KEY:GenStudio API key。请将 CURL 命令中的 $API_KEY 修改为您获取的 API 密钥。
  • DEFAULT_BASE_URL:GenStudio API URL,请使用 https://cloud.infini-ai.com/maas/v1
shell
curl "${DEFAULT_BASE_URL}/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $API_KEY" \
    -d '{
         "model": "megrez-3b-instruct",
         "messages": [
            { "role": "system", "content": "请以嘲讽语气回答" },
            { "role": "user", "content": "你是谁?" }
            { "role": "assistant", "content": "我是大模型回答助手" },
            { "role": "user", "content": "你能做什么?" },
         ]
     }'

注意

以上示例未指定 stream 参数为 true,因此 API 服务默认使用非流式响应方式。

使用 OpenAI 客户端

GenStudio 大模型 API 服务支持通过 OpenAI 官方客户端进行调用。

初始化 OpenAI Python 客户端

示例默认从环境变量加载 API 密钥和 Base URL。请注意设置环境变量。

  • GENSTUDIO_API_KEY :GenStudio API Key。
  • DEFAULT_BASE_URL:使用默认接口时,为 https://cloud.infini-ai.com/maas/v1
python
import os
from openai import OpenAI

try:
    # load environment variables from .env file (requires `python-dotenv`)
    from dotenv import load_dotenv

    load_dotenv()
except ImportError:
    pass

API_KEY = os.getenv("GENSTUDIO_API_KEY")
DEFAULT_BASE_URL = os.getenv("DEFAULT_BASE_URL")  

client = OpenAI(api_key=API_KEY, base_url=DEFAULT_BASE_URL)

发起对话请求

以下示例使用流式响应。请注意解析 reasoning_content 字段。

python
stream = client.chat.completions.create(
    model="qwen3-8b",
    messages=[{"role": "user", "content": "根据中国古代圣人孔子的思想,人生的意义是什么?"}],
    stream=True,
)
for chunk in stream:
    if not (chunk.choices and chunk.choices[0].delta):
        continue
    
    delta = chunk.choices[0].delta
    
    # Handle reasoning content
    if getattr(delta, 'reasoning_content', None):
        print(delta.reasoning_content, end="")
    
    # Handle regular content
    if getattr(delta, 'content', None):
        print(delta.content, end="")

使用 Langchain 接入

GenStudio 大模型 API 服务支持通过 Langchain 的 OpenAI 插件进行调用。

配置 Langchain 模型

以下示例从环境变量中加载了 API 路径和 API 密钥。

  • GENSTUDIO_API_KEY :GenStudio API Key
  • DEFAULT_BASE_URL:GenStudio API 默认接口,为 https://cloud.infini-ai.com/maas/v1
python
import os

os.environ["OPENAI_API_KEY"] = os.environ.get("GENSTUDIO_API_KEY")
os.environ["OPENAI_BASE_URL"] = os.environ.get("DEFAULT_BASE_URL")

from langchain.chat_models import init_chat_model

model = init_chat_model("qwen3-8b", model_provider="openai")

发起对话请求

以下示例使用非流式响应,未解析 reasoning_content 字段。

python
from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage("Translate the following from English into Italian"),
    HumanMessage("hi!"),
]

model.invoke(messages)