存储概述
本文概述了 AIStudio 的共享高性能存储和本地存储能力。
NOTE
- 免费用户暂无法使用共享高性能存储功能。
- 商用客户请联系无问芯穹购买存储资源。
共享高性能存储
AIStudio 提供共享高性能存储功能,可供您在开发机、推理和任务等服务中使用。共享高性能存储可让您轻松地与团队成员共享文件,并在大数据量情况下高效地进行协作。
功能亮点
- 高性能:文件存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。
- 易于使用:在开发机、推理和任务中均可使用,提供默认挂载点。
- 安全可靠:共享高性能存储采用多副本机制,确保数据安全可靠。
目录结构
如果您的租户在当前可用区购买了共享高性能存储,智算云平台为租户下的每个用户开放以下目录:
目录 | 权限 | 说明 |
---|---|---|
/datasets | 只读 | 该目录用于预置只读数据集。平台暂未预置任何数据,如果有您上传需求,请联系无问芯穹。 |
/public | 读写 | 用于共享文件,租户下任何成员用户对该目录下的数据均可读可写。 |
/user_dir/<username> | 读写 | 每个成员仅限读写个人目录下数据。 |
使用方法
创建开发机,任务,和推理服务的过程中,挂载信息区域会自动展示智算云平台建议的挂载点。智算云平台自动建议的挂载点在多个服务中均一致。
您可以在 UI 上编辑或任意增删平台建议的挂载点。
建议挂载点与共享存储目录的对应关系表:
共享高性能存储目录 | 建议挂载点 |
---|---|
/datasets | /mnt/resource |
/public | /mnt/public |
/user_dir/<username> | /mnt/<username> |
NOTE
暂不支持在开发机、任务、推理服务内部手动挂载智算云平台的共享高性能存储。
查看配额
与常规情况不同,在我们的 Kubernetes 容器中(包括开发机、任务的 Worker、推理服务实例),执行 df -h
命令实际上会返回应用于当前租户的真实配额信息。这是通过对系统调用进行特殊处理实现的,使用户能够直观地了解到当前租户在集群中被分配的存储资源限制。
以下是运行 df -h /mnt/*
后的输出示例。需要注意的,/mnt/
目录下挂载的是同一个文件系统,所以示例中租户的总配额为 2.0 T 而不是 6.0 T。
Filesystem Size Used Avail Use% Mounted on
testfilestore 2.0T 192G 1.9T 10% /mnt/public
testfilestore 2.0T 192G 1.9T 10% /mnt/resource
testfilestore 2.0T 192G 1.9T 10% /mnt/johndoe
常见问题
问:共享高性能存储的性能如何?
答:共享高性能存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。
问:如何挂载共享高性能存储到我的服务?
答:当前仅支持在创建开发机、任务、推理服务时通过 UI 创建挂载点。
问:我需要上传数据到 /datasets 目录,该怎么办?
答:如果您需要上传数据到 /datasets
目录,请联系无问芯穹工作人员。
本地存储
AIStudio 的开发机、任务、推理服务均支持本地存储。
服务 | 容量 | 持久化 | 说明 |
---|---|---|---|
开发机 | 50 GiB | 是 | root 文件系统 |
开发机内部 Docker | 100 GiB | 否 | root 文件系统 |
任务 Worker | 50 GiB | 否 | root 文件系统 |
推理 | 50 GiB | 否 | root 文件系统 |
NOTE
开发机提供 50 GiB 免费的持久化存储。
共享内存
AIStudio 的开发机、任务(Worker)均挂载了基于 Linux 虚拟内存的 /dev/shm
。在创建开发机或任务时,可以看到共享存储配置项。默认为资源规格内容容量的一半,暂不支持修改。
建议使用 /dev/shm
存放多次读写的临时数据,这些数据需要快速访问且在系统重启后不需要保留。
Filesystem Size Used Avail Use% Mounted on
overlay 50G 36M 50G 1% /
tmpfs 64M 0 64M 0% /dev
gpfs 60T 53T 7.5T 88% /mnt/public
tmpfs 56G 0 56G 0% /dev/shm
...
TIP
如果使用开发机的 Docker 功能,开发机内启动的 Docker 容器也挂载了 /dev/shm
,但默认大小为 64MB
,支持通过 --shm-size
选项调整。详见 Docker 功能。