大语言模型 API 服务使用教程

本文将指导您如何通过常用工具调用 GenStudio 预置的大语言模型 API 服务。

提示

GenStudio 还支持将模型部署到独占实例，提供私有 API 服务。请注意自部署的模型服务 API 域名与平台提供的公共 API 域名不同。详见部署模型服务。

OpenAI API 兼容性

GenStudio 大语言模型 API 服务提供一个实现 OpenAI 的 Chat Completions 的 API 接口。

注意

关于 API 端点的路径、参数等细节，详见 大语言模型 API 参考文档。

📋 大模型服务平台 API 参考文档

前提条件

• 获取 API 密钥

• 前往大模型服务平台的模型广场，选择期望通过 API 方式试用的大模型。

  模型广场

使用 Curl

您可以通过调用示例中的 curl 命令直接发送 API 请求。以下请求示例发起一个单轮对话。示例默认从环境变量加载 API 密钥和 Base URL。请注意提前设置环境变量。

• API_KEY：GenStudio API key。请将 CURL 命令中的 $API_KEY 修改为您获取的 API 密钥。
• DEFAULT_BASE_URL：GenStudio API URL，请使用 https://cloud.infini-ai.com/maas/v1

curl "${DEFAULT_BASE_URL}/chat/completions" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $API_KEY" \
    -d '{
         "model": "megrez-3b-instruct",
         "messages": [
            { "role": "system", "content": "请以嘲讽语气回答" },
            { "role": "user", "content": "你是谁？" }
            { "role": "assistant", "content": "我是大模型回答助手" },
            { "role": "user", "content": "你能做什么？" },
         ]
     }'

注意

以上示例未指定 stream 参数为 true，因此 API 服务默认使用非流式响应方式。

使用 OpenAI 客户端

GenStudio 大模型 API 服务支持通过 OpenAI 官方客户端进行调用。

初始化 OpenAI Python 客户端

示例默认从环境变量加载 API 密钥和 Base URL。请注意设置环境变量。

• GENSTUDIO_API_KEY ：GenStudio API Key。
• DEFAULT_BASE_URL：使用默认接口时，为 https://cloud.infini-ai.com/maas/v1

import os
from openai import OpenAI

try:
    # load environment variables from .env file (requires `python-dotenv`)
    from dotenv import load_dotenv

    load_dotenv()
except ImportError:
    pass

API_KEY = os.getenv("GENSTUDIO_API_KEY")
DEFAULT_BASE_URL = os.getenv("DEFAULT_BASE_URL")  

client = OpenAI(api_key=API_KEY, base_url=DEFAULT_BASE_URL)

发起对话请求

以下示例使用流式响应。请注意解析 reasoning_content 字段。

stream = client.chat.completions.create(
    model="qwen3-8b",
    messages=[{"role": "user", "content": "根据中国古代圣人孔子的思想，人生的意义是什么？"}],
    stream=True,
)
for chunk in stream:
    if not (chunk.choices and chunk.choices[0].delta):
        continue
    
    delta = chunk.choices[0].delta
    
    # Handle reasoning content
    if getattr(delta, 'reasoning_content', None):
        print(delta.reasoning_content, end="")
    
    # Handle regular content
    if getattr(delta, 'content', None):
        print(delta.content, end="")

使用 Langchain 接入

GenStudio 大模型 API 服务支持通过 Langchain 的 OpenAI 插件进行调用。

配置 Langchain 模型

以下示例从环境变量中加载了 API 路径和 API 密钥。

• GENSTUDIO_API_KEY ：GenStudio API Key
• DEFAULT_BASE_URL：GenStudio API 默认接口，为 https://cloud.infini-ai.com/maas/v1

import os

os.environ["OPENAI_API_KEY"] = os.environ.get("GENSTUDIO_API_KEY")
os.environ["OPENAI_BASE_URL"] = os.environ.get("DEFAULT_BASE_URL")

from langchain.chat_models import init_chat_model

model = init_chat_model("qwen3-8b", model_provider="openai")

发起对话请求

以下示例使用非流式响应，未解析 reasoning_content 字段。

from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage("Translate the following from English into Italian"),
    HumanMessage("hi!"),
]

model.invoke(messages)