共享高性能存储使用与操作指南
本节介绍如何在实际工作中使用共享高性能存储,包括挂载、访问、数据传输和常见问题。
挂载共享高性能存储
创建开发机、任务和推理服务的过程中,存储配置区域会自动展示租户下的共享高性能存储目录,同时平台展示建议的挂载点。默认挂载点在所有服务模块中均一致。
共享高性能存储目录与平台建议的默认挂载点与存在以下对应关系:
共享高性能存储目录 | 建议挂载点(可修改) |
---|---|
/public (租户下读写) | /mnt/public |
注意
请在 UI 上完成挂载点配置。暂不支持在开发机、推理实例、或任务 Worker 内部手动挂载智算云平台的共享高性能存储。
如需自定义挂载点,请注意无法使用以下保留路径及其子路径:
- /
- /bios
- /boot
- /dev
- /etc
- /lib
- /lib32
- /lib64
- /libx32
- /opt
- /proc
- /root
- /run
- /sbin
- /srv
- /sys
- /usr
- /var
- /home
- /datadisk
访问共享高性能存储
挂载共享高性能存储后,您就可以在开发机、任务 Worker、推理服务实例中访问共享高性能存储。
查看配额
在我们的容器中(包括开发机、任务的 Worker、推理服务实例),执行 df -h
命令会返回应用于当前租户的真实配额信息。
shell
Filesystem Size Used Avail Use% Mounted on
testfilestore 2.0T 192G 1.9T 10% /mnt/public
testfilestore 2.0T 192G 1.9T 10% /mnt/resource
testfilestore 2.0T 192G 1.9T 10% /mnt/johndoe
传输数据
如果需要从本地设备传输数据到共享高性能存储,必须通过开发机或 AICoder:
- AICoder:免费的纯 CPU 实例(Ubuntu)。借助智算云平台提供的 SSH 跳板机,您可通过
ssh -J
方式从公网 SSH 远程登录 AICoder。详细步骤参考 通过 AICoder 传输文件。 - 开发机:挂载了 1/2/4/8 个 GPU 的 Linux 实例(有 GPU 试用资源才能创建),提供公网 SSH 访问地址。开发机直接提供 SSH 远程登录的公网 IP 地址,缺点是会同时占用显卡资源。详细步骤参考 通过开发机传输文件。
提示
如果仅需要操作共享高性能存储,也可使用 AICoder 进行文件传输。AICoder 为 CPU 实例,不会占用显卡资源。
数据传输工具
目前支持的本地数据传输方案都基于 SSH,默认支持命令行界面下 2 种常用的文件传输方案,即 scp
和 sftp
。
如果您在寻找使用图形化界面传输文件的方案:
📖 VS Code 远程开发:为开发机、AICoder 提供本地般的开发体验
📖 如何使用 FileZilla 管理开发机内的文件
📖 在智算云平台上使用 File Browser 管理数据
AICoder 默认已集成 File Browser,支持直接通过网页传输文件。
如果您对断点续传有强烈要求:
📖 使用 rsync 传输数据到开发机
总结:
- 开发机: scp/sftp(命令行)、filezilla(图形界面)、VS Code(图形界面)、自行安装 File Browser(图形界面)
- AICoder: scp/sftp(命令行)、内建 File Browser、VS Code(图形界面)
提示
- 开发机支持 SSH 用户名/密码认证,也支持基于 SSH 密钥的认证。请提前确认可成功 SSH 远程登录开发机。如需帮助,请参考 SSH 远程登录。
- 由于 AICoder 仅支持基于 SSH 密钥的身份认证,所以必须提前在机器内添加您的 SSH 公钥。
📖 添加 SSH 公钥指南
常见问题
共享高性能存储的性能如何?
答:共享高性能存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。
如何挂载共享高性能存储到我的服务?
答:当前仅支持在创建开发机、任务、推理服务时通过 UI 创建挂载点。
为什么创建开发机、推理服务、任务时看不到存储卷?
在创建容器实例(开发机、任务、推理服务)时,如果在存储配置中看到他人创建的存储卷,需要满足两个条件:
- 存储操作权限:非管理员用户默认只能看到自己创建的存储卷。如果需要查看和挂载他人创建的存储卷,用户必须同时拥有「获取全部存储卷列表」操作权限。如果您需要创建给团队公开使用的存储卷,请确保相关用户已具有该操作权限。
- 对存储卷至少有只读权限。详见管理存储卷挂载权限。