共享高性能存储
租户可购买高性能共享存储,用于租户下所有成员共享文件,在开发机、推理和任务等服务中均可挂载使用,便于在大数据量情况下高效地协作和复用数据。
- 高性能: 文件存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。
- 团队共享: 租户下所有用户均可访问。
- 多服务共享: 在开发机、推理、任务、AICoder 中均可访问。
- 随时访问: 免费的 AICoder 即可读写共享存储,下载数据,不占用显卡资源
- 安全可靠: 共享高性能存储采用多副本机制,确保数据安全可靠。
NOTE
共享高性能存储为收费产品。如需购买,请联系商务。
共享存储架构
租户的实例(开发机、推理服务、任务)均可挂载共享存储。存储在容器实例间共享,可以多点读写。存储可持久化,不受实例释放的影响。
IMPORTANT
- 租户购买共享存储后,平台默认提供一个文件系统,暂不支持租户自行创建第二个文件系统。
- 平台默认在文件系统代创建一个存储卷,租户下全部用户可见;租户可自行创建其他存储卷。
- 租户可配置卷的可见性(创建容器实例时是否可在列表中看到该卷),以及各用户的挂载权限(读写权限)。
- 容器实例仅可使用与实例同一可用区的存储资源。容器实例的可用区由算力资源所在可用区决定。
文件系统
在高性能存储中,「文件系统」特指共享高性能存储中为租户分配的隔离的存储空间。
访问智算云平台的「高性能存储」管理页面,可查看租户的文件系统。
- 租户购买高性能存储后,平台会自动创建一个文件系统。暂不支持租户自行创建第二个文件系统。
- 文件系统的大小决定了租户可用存储空间的上限(暂不支持展示文件系统提供的存储空间大小)。
- 文件系统的可用区决定了存储可被挂载和使用的可用区,只有同一可用区实例(开发机、任务、推理服务、AICoder)可使用该文件系统提供的存储资源。
- 文件系统不可直接被实例挂载使用。
- 文件系统可用于创建存储卷。存储卷可被同一可用区实例(开发机、任务、推理服务、AICoder)挂载。
存储卷
在一站式 AI 平台,需要创建「存储卷」,才能获得可被容器实例(开发机、任务、推理服务、AICoder)挂载的存储单元。由租户的文件系统为「存储卷」提供存储资源。
存储卷有以下关键属性:
存储卷 ID: 用于识别存储卷,例如
vo-c7hp65uszhr7hb7x
存储卷目录路径:在「文件系统」中,使用该路径划分存储卷使用的存储空间。例如,路径为
/public
,表示使用该存储卷时限制操作在该文件系统/public
目录下的数据。NOTE
- 在创建实例(开发机、任务、推理服务、AICoder)时,平台以存储卷 ID 与目录路径的组合来表示存储卷。例如: 您会在存储下拉列表中看到存储卷名称为
/datasets(vo-c7hp65utvgohcz2k)
。 - 存储卷的目录路径仅表示其在文件系统上的位置,与实例容器内的访问目录无关。在挂载存储卷时,您可以将存储卷映射至容器内部的自定义路径。
- 在创建实例(开发机、任务、推理服务、AICoder)时,平台以存储卷 ID 与目录路径的组合来表示存储卷。例如: 您会在存储下拉列表中看到存储卷名称为
存储卷挂载权限:用于控制不同用户/用户组对存储卷可见性以及读写权限。如果用户对存储卷的权限与该用户所在用户组对存储卷的权限不同,则取并集。
创建存储卷
租户可通过存储卷精细管理用户对文件系统的使用方式。创建存储卷是指在文件系统上划分出指定目录,用于精细管控。
访问智算云平台的「高性能存储」管理页面。
点击文件系统名称,可查看当前文件系统上已有的存储卷。
NOTE
平台会在每个文件系统中自动生成
/public
存储卷。进入文件系统详情页,点击创建存储卷。填写以下信息:
- 目录路径,目录深度最多 8 级
- 名称
- 描述
NOTE
- 暂不支持控制存储卷的用量配额。
- 新建存储卷默认未配置任何挂载权限,因此任何用户在创建实例(开发机、推理服务、任务、AICoder)时均无法看到该卷。
管理存储卷挂载权限
租户可以批量修改用户/用户组的挂载权限。挂载权限控制实例(开发机、推理服务、任务、AICoder)挂载该存储卷时是否允许读写。
访问智算云平台的「高性能存储」管理页面。
点击文件系统名称,进入文件系统详情页。点击存储卷右侧操作栏管理挂载权限,可以批量修改用户/用户组的挂载权限。
NOTE
用户组是一种方便的批量授权方式。详见用户账号与权限管理。
WARNING
非管理员用户默认只能看到自己创建的存储卷。如果需要查看和挂载他人创建的存储卷,用户必须同时拥有「获取全部存储卷列表」操作权限。如果您需要创建给团队公开使用的存储卷,请确保相关用户已具有该操作权限。
管理存储操作权限
智算云平台通过权限策略控制所有存储操作权限。
- 租户管理员:允许对存储执行所有操作。
- 非管理员:默认仅能查看、使用自己创建的存储卷
租户管理员或授权用户可以自建自定义策略,为他人添加存储操作权限。
登录智算云平台,访问策略管理页面,点击创建自定义策略。
在自定义页面,找到服务标签,在下拉列表中单击 存储服务。选择全部操作或指定操作。
创建完成后,点击自定义策略名称,进入详情页。点击右侧添加权限为用户或用户组授权。
挂载共享高性能存储
创建开发机,任务,和推理服务的过程中,存储配置区域会自动展示租户下的共享高性能存储目录,同时平台展示建议的挂载点。默认挂载点在所有服务模块中均一致。
共享高性能存储目录与平台建议的默认挂载点与存在以下对应关系。
共享高性能存储目录 | 建议挂载点(可修改) |
---|---|
/public (租户下读写) | /mnt/public |
NOTE
请在 UI 上完成挂载点配置。暂不支持在开发机、推理实例、或任务 Worker 内部手动挂载智算云平台的共享高性能存储。
如需自定义挂载点,请注意无法使用以下保留路径,及其子路径:
- /
- /bios
- /boot
- /dev
- /etc
- /lib
- /lib32
- /lib64
- /libx32
- /opt
- /proc
- /root
- /run
- /sbin
- /srv
- /sys
- /usr
- /var
- /home
- /datadisk
访问共享高性能存储
挂载共享高性能存储后,您就可以在开发机、任务 Worker、推理服务实例中访问共享高性能存储。
查看配额
与常规情况不同,在我们的容器中(包括开发机、任务的 Worker、推理服务实例),执行 df -h
命令实际上会返回应用于当前租户的真实配额信息。这是通过对系统调用进行特殊处理实现的,使用户能够直观地了解到当前租户在集群中被分配的存储资源限制。
以下是运行 df -h /mnt/*
后的输出示例。需要注意的,/mnt/
目录下挂载的是同一个文件系统,所以示例中租户的总配额为 2.0 T 而不是 6.0 T。
Filesystem Size Used Avail Use% Mounted on
testfilestore 2.0T 192G 1.9T 10% /mnt/public
testfilestore 2.0T 192G 1.9T 10% /mnt/resource
testfilestore 2.0T 192G 1.9T 10% /mnt/johndoe
传输数据
如果需要从本地设备传输数据到共享高性能存储,必须通过开发机或 AICoder:
- AICoder:免费的纯 CPU 实例(Ubuntu)。借助智算云平台提供的 SSH 跳板机,您可通过
ssh -J
方式从公网 SSH 远程登录 AICoder。详细步骤参考 通过 AICoder 传输文件。 - 开发机:挂载了 1/2/4/8 个 GPU 的 Linux 实例(有 GPU 试用资源才能创建),提供公网 SSH 访问地址。开发机直接提供 SSH 远程登录的公网 IP 地址,缺点是会同时占用显卡资源。详细步骤参考 通过开发机传输文件。
TIP
如果仅需要操作共享高性能存储,也可使用 AICoder 的进行文件传输。AICoder 为 CPU 实例,不会占用显卡资源。
数据传输工具
目前支持的本地数据传输方案都基于 SSH,默认支持命令行界面下 2 种常用的文件传输方案,即 scp
和 sftp
。
AICoder 默认已集成 File Browser,支持直接通过网页传输文件。
总结:
- 开发机: scp/sftp(命令行)、filezilla(图形界面)、VS Code(图形界面)、自行安装 File Browser(图形界面)
- AICoder: scp/sftp(命令行)、内建 File Browser、VS Code(图形界面)
TIP
- 开发机支持 SSH 用户名/密码认证,也支持基于 SSH 密钥的认证。请提前确认可成功 SSH 远程登录开发机。如需帮助,请参考 SSH 远程登录。
- 由于 AICoder 仅支持基于 SSH 密钥的身份认证,所以必须提前在机器内添加您的 SSH 公钥。
常见问题
共享高性能存储的性能如何?
答:共享高性能存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。
如何挂载共享高性能存储到我的服务?
答:当前仅支持在创建开发机、任务、推理服务时通过 UI 创建挂载点。
为什么创建开发机、推理服务、任务时看不到存储卷?
在创建容器实例(开发机、任务、推理服务)时,如果在存储配置中看到他人创建的存储卷,需要满足两个条件:
- 存储操作权限:非管理员用户默认只能看到自己创建的存储卷。如果需要查看和挂载他人创建的存储卷,用户必须同时拥有「获取全部存储卷列表」操作权限。如果您需要创建给团队公开使用的存储卷,请确保相关用户已具有该操作权限。
- 对存储卷至少有只读权限。
详见管理存储卷挂载权限。