2024-11-21 一站式 AI 平台生日大派对!2024-11-21 一站式 AI 平台生日大派对! 无问芯穹特别推出多项超值福利!立即参与
Skip to content

访问推理服务

使用「推理服务」功能部署服务,可以获取内网、外网访问地址。

前提条件

使用「推理服务」功能创建服务时,需要完成以下配置:

  • 内网监听端口
  • 内网访问端口,建议保留 80 端口。
  • 启用外网访问,可选默认地址或自定义地址

如需快捷查看调用信息,可在推理服务列表中找到您创建的服务,点击右侧的调用按钮。

内网访问

进入推理服务详情页,可直接查看内网访问地址。如需测试,可以通过 AICoder 或开发机直接从内网访问:

alt text

NOTE

上图中直接通过 AICoder 访问验证了当前推理服务内网可达。

外网访问

在开发测试过程中,如有公网访问需求,可以启用推理服务的「外网访问」功能。请参考下方的配置示例。

默认外网访问地址

保持默认地址,推理服务创建成功后,平台将自动生成租户下唯一访问地址,地址中带有当前推理服务的 ID。

格式: https://cloud.infini-ai.com/AIStudio/inference/api/<推理服务ID>/

alt text

自定义外网访问地址

目前仅支持自定义 URL 中的部分路径。选择 自定义地址 后,请输入自定义路径。建议仅使用字母 (a-z)、数字 (0-9) 、中划线 (-)和下划线 (_)。避免使用其他特殊字符,以免造成显示或链接错误。

推理服务创建成功后,地址中将带有当前租户的 ID 和当前服务的自定义地址。

格式: https://cloud.infini-ai.com/AIStudio/v1/inference/api/<租户ID>/<自定义地址>

alt text

WARNING

  • 请确保租户下「自定义地址」不重复。平台将在点击「确认创建」后检查,如地址与已有服务重复,则无法创建成功。
  • 建议仅使用字母 (a-z)、数字 (0-9) 、中划线 (-)和下划线 (_)。避免使用其他特殊字符,以免造成显示或链接错误。

查看外网访问地址

服务部署成功后,进入推理服务详情页,可发现两种公网 HTTPS 访问方式:

alt text

NOTE

上图中划出了「直接访问」的超链接,图中也直接展示了该超链接 URL,方便复制通过 API 鉴权访问时复制地址。

  • 直接访问:仅当前登录云平台的用户可通过超链接直接访问服务,在云平台登录状态未失效时一直可用。该方式适用于提供 UI 界面的推理服务,例如文生图等。

    TIP

    如需启用「直接访问」地址,在配置推理服务内网调用端口时,必须包含 80 端口。

  • API 鉴权访问:非平台登录用户需要通过 API 鉴权访问。请根据提示,复制有效的 API 密钥。以 CURL 为例,替换 YOUR_API_KEY 为您获取的密钥即可:

    -H "Authorization: Bearer YOUR_API_KEY"

AICoder 代理公网访问

在开发测试过程中,如有其他个性化的公网访问需求,可以利用智算云平台提供的另一个开发工具 —— AICoder。AICoder 可以作为代理,让我们访问这些内网的 API 服务。

请查看教程 通过 AICoder 访问智算云平台内网推理服务