大语言模型 API 服务使用教程
本文将指导您如何通过常用工具调用 GenStudio 预置的大语言模型 API 服务。
提示
GenStudio 还支持将模型部署到独占实例,提供私有 API 服务。请注意自部署的模型服务 API 域名与平台提供的公共 API 域名不同。详见部署模型服务。
OpenAI API 兼容性
GenStudio 大语言模型 API 服务提供一个实现 OpenAI 的 Chat Completions 的 API 接口。
注意
关于 API 端点的路径、参数等细节,详见 大语言模型 API 参考文档。
📋 大模型服务平台 API 参考文档
前提条件
前往大模型服务平台的模型广场,选择期望通过 API 方式试用的大模型。
使用 Curl
您可以通过调用示例中的 curl 命令直接发送 API 请求。以下请求示例发起一个单轮对话。示例默认从环境变量加载 API 密钥和 Base URL。请注意提前设置环境变量。
API_KEY
:GenStudio API key。请将 CURL 命令中的$API_KEY
修改为您获取的 API 密钥。DEFAULT_BASE_URL
:GenStudio API URL,请使用https://cloud.infini-ai.com/maas/v1
shell
curl "${DEFAULT_BASE_URL}/v1/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $API_KEY" \
-d '{
"model": "megrez-3b-instruct",
"messages": [
{ "role": "system", "content": "请以嘲讽语气回答" },
{ "role": "user", "content": "你是谁?" }
{ "role": "assistant", "content": "我是大模型回答助手" },
{ "role": "user", "content": "你能做什么?" },
]
}'
注意
以上示例未指定 stream
参数为 true
,因此 API 服务默认使用非流式响应方式。
使用 OpenAI 客户端
GenStudio 大模型 API 服务支持通过 OpenAI 官方客户端进行调用。
初始化 OpenAI Python 客户端
示例默认从环境变量加载 API 密钥和 Base URL。请注意设置环境变量。
GENSTUDIO_API_KEY
:GenStudio API Key。DEFAULT_BASE_URL
:使用默认接口时,为https://cloud.infini-ai.com/maas/v1
python
import os
from openai import OpenAI
try:
# load environment variables from .env file (requires `python-dotenv`)
from dotenv import load_dotenv
load_dotenv()
except ImportError:
pass
API_KEY = os.getenv("GENSTUDIO_API_KEY")
DEFAULT_BASE_URL = os.getenv("DEFAULT_BASE_URL")
client = OpenAI(api_key=API_KEY, base_url=DEFAULT_BASE_URL)
发起对话请求
以下示例使用流式响应。请注意解析 reasoning_content
字段。
python
stream = client.chat.completions.create(
model="qwen3-8b",
messages=[{"role": "user", "content": "根据中国古代圣人孔子的思想,人生的意义是什么?"}],
stream=True,
)
for chunk in stream:
if not (chunk.choices and chunk.choices[0].delta):
continue
delta = chunk.choices[0].delta
# Handle reasoning content
if getattr(delta, 'reasoning_content', None):
print(delta.reasoning_content, end="")
# Handle regular content
if getattr(delta, 'content', None):
print(delta.content, end="")
使用 Langchain 接入
GenStudio 大模型 API 服务支持通过 Langchain 的 OpenAI 插件进行调用。
配置 Langchain 模型
以下示例从环境变量中加载了 API 路径和 API 密钥。
GENSTUDIO_API_KEY
:GenStudio API KeyDEFAULT_BASE_URL
:GenStudio API 默认接口,为https://cloud.infini-ai.com/maas/v1
python
import os
os.environ["OPENAI_API_KEY"] = os.environ.get("GENSTUDIO_API_KEY")
os.environ["OPENAI_BASE_URL"] = os.environ.get("DEFAULT_BASE_URL")
from langchain.chat_models import init_chat_model
model = init_chat_model("qwen3-8b", model_provider="openai")
发起对话请求
以下示例使用非流式响应,未解析 reasoning_content
字段。
python
from langchain_core.messages import HumanMessage, SystemMessage
messages = [
SystemMessage("Translate the following from English into Italian"),
HumanMessage("hi!"),
]
model.invoke(messages)