访问推理服务
使用「推理服务」功能部署服务,可以获取内网、外网访问地址。
前提条件
使用「推理服务」功能创建服务时,需要完成以下配置:
- 内网监听端口
- 内网访问端口,建议保留
80
端口。 - 启用外网访问,可选默认地址或自定义地址
如需快捷查看调用信息,可在推理服务列表中找到您创建的服务,点击右侧的调用按钮。
内网访问
进入推理服务详情页,可直接查看内网访问地址。如需测试,可以通过 AICoder 或开发机直接从内网访问:
NOTE
上图中直接通过 AICoder 访问验证了当前推理服务内网可达。
外网访问
在开发测试过程中,如有公网访问需求,可以启用推理服务的「外网访问」功能。请参考下方的配置示例。
默认外网访问地址
保持默认地址,推理服务创建成功后,平台将自动生成租户下唯一访问地址,地址中带有当前推理服务的 ID。
格式: https://cloud.infini-ai.com/AIStudio/inference/api/<推理服务ID>/
自定义外网访问地址
目前仅支持自定义 URL 中的部分路径。选择 自定义地址 后,请输入自定义路径。建议仅使用字母 (a-z)、数字 (0-9) 、中划线 (-)和下划线 (_)。避免使用其他特殊字符,以免造成显示或链接错误。
推理服务创建成功后,地址中将带有当前租户的 ID 和当前服务的自定义地址。
格式: https://cloud.infini-ai.com/AIStudio/v1/inference/api/<租户ID>/<自定义地址>
WARNING
- 请确保租户下「自定义地址」不重复。平台将在点击「确认创建」后检查,如地址与已有服务重复,则无法创建成功。
- 建议仅使用字母 (a-z)、数字 (0-9) 、中划线 (-)和下划线 (_)。避免使用其他特殊字符,以免造成显示或链接错误。
查看外网访问地址
服务部署成功后,进入推理服务详情页,可发现两种公网 HTTPS 访问方式:
NOTE
上图中划出了「直接访问」的超链接,图中也直接展示了该超链接 URL,方便复制通过 API 鉴权访问时复制地址。
直接访问:仅当前登录云平台的用户可通过超链接直接访问服务,在云平台登录状态未失效时一直可用。该方式适用于提供 UI 界面的推理服务,例如文生图等。
TIP
如需启用「直接访问」地址,在配置推理服务内网调用端口时,必须包含
80
端口。API 鉴权访问:非平台登录用户需要通过 API 鉴权访问。请根据提示,复制有效的 API 密钥。以 CURL 为例,替换
YOUR_API_KEY
为您获取的密钥即可:-H "Authorization: Bearer YOUR_API_KEY"
AICoder 代理公网访问
在开发测试过程中,如有其他个性化的公网访问需求,可以利用智算云平台提供的另一个开发工具 —— AICoder。AICoder 可以作为代理,让我们访问这些内网的 API 服务。
请查看教程 通过 AICoder 访问智算云平台内网推理服务。