Skip to content

开发机体验教程(公测专用)

跟随我们的体验教程,使用 Spot 资源快速部署一个开发机,并测试开发机的可用性。

NOTE

公测期间每用户仅限使用单卡规格资源,体验时长为 1 小时。

什么是 Spot 资源实例?

Spot 资源实例是一种利用闲置计算资源的虚拟实例,基于 Kubernetes 的 Spot 概念。具有以下特点:

  • 资源抢占: 当需要回收闲置资源时,Spot 实例会被终止。
  • 不保证可用性: Spot 实例不能保证一直可用,可能会被随时终止。

IMPORTANT

Spot 实例不保证可用性,暂不提供持久化存储。请注意保存数据或 checkpoint。

创建开发机

直接访问智算云控制台的创建开发机页面。

创建开发机

进入创建页面后,请根据页面提示,完成以下配置。

  • 规格信息:指定资源类型为 Spot。在公测体验中,仅支持选择显卡数量为 1 的规格,共享内存默认为所选规格内存的一半。

    NOTE

    公测用户仅可选择显卡数量为 1 的规格。

  • 基础配置:请根据下方要求填写:

    • 镜像:您可以从预置镜像中选择任意镜像,例如 Ubuntu 基础镜像 infini-ai/ubuntu:20.04-20231109
    • 公钥:上传公钥之后才能使用 SSH 远程登录。
    • docker 容器:在开发机内部使用 Docker 功能。如果希望在本教程中体验 Docker 功能,可勾选此项。

    alt text

  • 基本信息:填写开发机名称。描述可留空。

开发机部署完成后,会进入运行中状态。您可以从开发机列表页点击登录按钮访问 webterminal。如需 SSH 登录,可从开发机详情页获取 SSH 地址。

体验 Docker 功能

开发机内可以启动 docker 容器,并挂载开发机全部 GPU 资源。

  1. 访问智算云平台的开发机列表页。您可以从开发机列表页点击登录按钮访问 webterminal。

    alt text

    如果在创建开发机时已上传 SSH 公钥,可以进入详情页获取 SSH 地址。

    alt text

  2. 启用 Docker 功能后,可以在开发机内部启动容器。为了快速体验,我们借用推理服务体验教程中提供的体验专用预置镜像,该镜像中已包含 qwen1.5-0.5b-chat 模型以及推理服务依赖的运行环境。

    shell
    docker pull cr.infini-ai.com/infini-ai/qwen1.5-0.5b-chat:v1-vllm0.3-torch2.1-cuda12.3-ubuntu22.04

    NOTE

    镜像下载与解压过程会比较耗时。

  3. 启动容器。其中已包含运行推理服务所需的环境变量,8000 为推理服务的 API 服务端口。

    shell
    docker run -d -p 8000:8000 -e MODEL=qwen1.5-0.5b-chat -e TP=1 --gpus=all -v=/mnt:/mnt cr.infini-ai.com/infini-ai/qwen1.5-0.5b-chat:v1-vllm0.3-torch2.1-cuda12.3-ubuntu22.04

    启动时长约为数分钟。

  4. 至此你已经成功在开发机内启用推理服务容器。你可以尝试在本地调用该推理服务提供的 API。

    shell
    curl http://0.0.0.0:8000/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "qwen1.5-0.5b-chat", "messages": [ { "role": "user", "content": "你是谁?" } ] }'

    如果 API 正常返回响应,表示一切正常。