GenStudio 预计于 2025 年 5 月 推出 GenStudio 高级版/企业版升级服务,可付费调用预置 LLM API,GenStudio 预计于 2025 年 5 月 推出 GenStudio 高级版/企业版升级服务,可付费调用预置 LLM API, ,大幅提升 API 调用频率查看预告
Skip to content

共享高性能存储

租户可购买高性能共享存储,用于租户下所有成员共享文件,在开发机、推理和任务等服务中均可挂载使用,便于在大数据量情况下高效地协作和复用数据。

  • 高性能: 文件存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。
  • 团队共享: 租户下所有用户均可访问。
  • 多服务共享: 在开发机、推理、任务、AICoder 中均可访问。
  • 随时访问: 免费的 AICoder 即可读写共享存储,下载数据,不占用显卡资源
  • 安全可靠: 共享高性能存储采用多副本机制,确保数据安全可靠。

NOTE

共享高性能存储为收费产品。如需购买,请联系商务。

共享存储架构

租户的实例(开发机、推理服务、任务)均可挂载共享存储。存储在容器实例间共享,可以多点读写。存储可持久化,不受实例释放的影响。

IMPORTANT

  • 租户购买共享存储后,平台默认提供一个文件系统,暂不支持租户自行创建第二个文件系统。
  • 平台默认在文件系统代创建一个存储卷,租户下全部用户可见;租户可自行创建其他存储卷。
  • 租户可配置卷的可见性(创建容器实例时是否可在列表中看到该卷),以及各用户的挂载权限(读写权限)。
  • 容器实例仅可使用与实例同一可用区的存储资源。容器实例的可用区由算力资源所在可用区决定。

文件系统

在高性能存储中,「文件系统」特指共享高性能存储中为租户分配的隔离的存储空间。

访问智算云平台的「高性能存储」管理页面,可查看租户的文件系统。

  • 租户购买高性能存储后,平台会自动创建一个文件系统。暂不支持租户自行创建第二个文件系统。
  • 文件系统的大小决定了租户可用存储空间的上限(暂不支持展示文件系统提供的存储空间大小)。
  • 文件系统的可用区决定了存储可被挂载和使用的可用区,只有同一可用区实例(开发机、任务、推理服务、AICoder)可使用该文件系统提供的存储资源。
  • 文件系统不可直接被实例挂载使用。
  • 文件系统可用于创建存储卷。存储卷可被同一可用区实例(开发机、任务、推理服务、AICoder)挂载。

存储卷

在一站式 AI 平台,需要创建「存储卷」,才能获得可被容器实例(开发机、任务、推理服务、AICoder)挂载的存储单元。由租户的文件系统为「存储卷」提供存储资源。

存储卷有以下关键属性:

  • 存储卷 ID: 用于识别存储卷,例如 vo-c7hp65uszhr7hb7x

  • 存储卷目录路径:在「文件系统」中,使用该路径划分存储卷使用的存储空间。例如,路径为 /public,表示使用该存储卷时限制操作在该文件系统 /public 目录下的数据。

    NOTE

    • 在创建实例(开发机、任务、推理服务、AICoder)时,平台以存储卷 ID 与目录路径的组合来表示存储卷。例如: 您会在存储下拉列表中看到存储卷名称为 /datasets(vo-c7hp65utvgohcz2k)
    • 存储卷的目录路径仅表示其在文件系统上的位置,与实例容器内的访问目录无关。在挂载存储卷时,您可以将存储卷映射至容器内部的自定义路径。
  • 存储卷挂载权限:用于控制不同用户/用户组对存储卷可见性以及读写权限。如果用户对存储卷的权限与该用户所在用户组对存储卷的权限不同,则取并集。

创建存储卷

租户可通过存储卷精细管理用户对文件系统的使用方式。创建存储卷是指在文件系统上划分出指定目录,用于精细管控。

  1. 访问智算云平台的「高性能存储」管理页面。

  2. 点击文件系统名称,可查看当前文件系统上已有的存储卷。

    NOTE

    平台会在每个文件系统中自动生成 /public 存储卷。

  3. 进入文件系统详情页,点击创建存储卷。填写以下信息:

    • 目录路径,目录深度最多 8 级
    • 名称
    • 描述

NOTE

  • 暂不支持控制存储卷的用量配额。
  • 新建存储卷默认未配置任何挂载权限,因此任何用户在创建实例(开发机、推理服务、任务、AICoder)时均无法看到该卷。

管理存储卷挂载权限

租户可以批量修改用户/用户组的挂载权限。挂载权限控制实例(开发机、推理服务、任务、AICoder)挂载该存储卷时是否允许读写。

  1. 访问智算云平台的「高性能存储」管理页面。

  2. 点击文件系统名称,进入文件系统详情页。点击存储卷右侧操作栏管理挂载权限,可以批量修改用户/用户组的挂载权限。

    NOTE

    用户组是一种方便的批量授权方式。详见用户账号与权限管理

WARNING

非管理员用户默认只能看到自己创建的存储卷。如果需要查看和挂载他人创建的存储卷,用户必须同时拥有「获取全部存储卷列表」操作权限。如果您需要创建给团队公开使用的存储卷,请确保相关用户已具有该操作权限。

管理存储操作权限

智算云平台通过权限策略控制所有存储操作权限。

  • 租户管理员:允许对存储执行所有操作。
  • 非管理员:默认仅能查看、使用自己创建的存储卷

租户管理员或授权用户可以自建自定义策略,为他人添加存储操作权限。

  1. 登录智算云平台,访问策略管理页面,点击创建自定义策略

  2. 在自定义页面,找到服务标签,在下拉列表中单击 存储服务。选择全部操作指定操作

  3. 创建完成后,点击自定义策略名称,进入详情页。点击右侧添加权限为用户或用户组授权。

挂载共享高性能存储

创建开发机,任务,和推理服务的过程中,存储配置区域会自动展示租户下的共享高性能存储目录,同时平台展示建议的挂载点。默认挂载点在所有服务模块中均一致。

alt text

共享高性能存储目录与平台建议的默认挂载点与存在以下对应关系。

共享高性能存储目录建议挂载点(可修改)
/public(租户下读写)/mnt/public

NOTE

请在 UI 上完成挂载点配置。暂不支持在开发机、推理实例、或任务 Worker 内部手动挂载智算云平台的共享高性能存储。

如需自定义挂载点,请注意无法使用以下保留路径,及其子路径:

  • /
  • /bios
  • /boot
  • /dev
  • /etc
  • /lib
  • /lib32
  • /lib64
  • /libx32
  • /opt
  • /proc
  • /root
  • /run
  • /sbin
  • /srv
  • /sys
  • /usr
  • /var
  • /home
  • /datadisk

访问共享高性能存储

挂载共享高性能存储后,您就可以在开发机、任务 Worker、推理服务实例中访问共享高性能存储。

查看配额

与常规情况不同,在我们的容器中(包括开发机、任务的 Worker、推理服务实例),执行 df -h 命令实际上会返回应用于当前租户的真实配额信息。这是通过对系统调用进行特殊处理实现的,使用户能够直观地了解到当前租户在集群中被分配的存储资源限制。

以下是运行 df -h /mnt/* 后的输出示例。需要注意的,/mnt/ 目录下挂载的是同一个文件系统,所以示例中租户的总配额为 2.0 T 而不是 6.0 T。

shell
Filesystem      Size  Used Avail Use% Mounted on
testfilestore   2.0T  192G  1.9T  10% /mnt/public
testfilestore   2.0T  192G  1.9T  10% /mnt/resource
testfilestore   2.0T  192G  1.9T  10% /mnt/johndoe

传输数据

如果需要从本地设备传输数据到共享高性能存储,必须通过开发机或 AICoder:

  • AICoder:免费的纯 CPU 实例(Ubuntu)。借助智算云平台提供的 SSH 跳板机,您可通过 ssh -J 方式从公网 SSH 远程登录 AICoder。详细步骤参考 通过 AICoder 传输文件
  • 开发机:挂载了 1/2/4/8 个 GPU 的 Linux 实例(有 GPU 试用资源才能创建),提供公网 SSH 访问地址。开发机直接提供 SSH 远程登录的公网 IP 地址,缺点是会同时占用显卡资源。详细步骤参考 通过开发机传输文件

TIP

如果仅需要操作共享高性能存储,也可使用 AICoder 的进行文件传输。AICoder 为 CPU 实例,不会占用显卡资源。

数据传输工具

目前支持的本地数据传输方案都基于 SSH,默认支持命令行界面下 2 种常用的文件传输方案,即 scpsftp

如果您在寻找使用图形化界面传输文件的方案:

AICoder 默认已集成 File Browser,支持直接通过网页传输文件。

如果您对断点续传有强烈要求:

总结

  • 开发机: scp/sftp(命令行)、filezilla(图形界面)、VS Code(图形界面)、自行安装 File Browser(图形界面)
  • AICoder: scp/sftp(命令行)、内建 File Browser、VS Code(图形界面)

TIP

  • 开发机支持 SSH 用户名/密码认证,也支持基于 SSH 密钥的认证。请提前确认可成功 SSH 远程登录开发机。如需帮助,请参考 SSH 远程登录
  • 由于 AICoder 仅支持基于 SSH 密钥的身份认证,所以必须提前在机器内添加您的 SSH 公钥。

常见问题

共享高性能存储的性能如何?

答:共享高性能存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。

如何挂载共享高性能存储到我的服务?

答:当前仅支持在创建开发机、任务、推理服务时通过 UI 创建挂载点。

为什么创建开发机、推理服务、任务时看不到存储卷?

在创建容器实例(开发机、任务、推理服务)时,如果在存储配置中看到他人创建的存储卷,需要满足两个条件:

  • 存储操作权限:非管理员用户默认只能看到自己创建的存储卷。如果需要查看和挂载他人创建的存储卷,用户必须同时拥有「获取全部存储卷列表」操作权限。如果您需要创建给团队公开使用的存储卷,请确保相关用户已具有该操作权限。
  • 对存储卷至少有只读权限。

详见管理存储卷挂载权限