存储概述
本文概述了 AIStudio 的共享高性能存储和本地存储能力。
NOTE
- 开发机、任务、推理的容器中均已免费提供 50GB 本地存储,挂载在
/
下。 - 共享高性能存储为收费产品。如已购买,将自动挂载到容器中的
/mnt
下。如需购买,请移步购买存储资源。
共享高性能存储
AIStudio 提供共享高性能存储功能,可供您在开发机、推理和任务等服务中使用。共享高性能存储可让您轻松地与团队成员共享文件,并在大数据量情况下高效地进行协作。
功能亮点
- 高性能:文件存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。
- 易于使用:在开发机、推理和任务中均可使用,提供默认挂载点。
- 安全可靠:共享高性能存储采用多副本机制,确保数据安全可靠。
目录结构
如果您的租户在当前可用区购买了共享高性能存储,智算云平台为租户下的每个用户开放以下目录:
目录 | 权限 | 说明 |
---|---|---|
/datasets | 只读 | 该目录用于预置只读数据集。平台暂未预置任何数据,如果有您上传需求,请联系无问芯穹。 |
/public | 读写 | 用于共享文件,租户下任何成员用户对该目录下的数据均可读可写。 |
/user_dir/<username> | 读写 | 每个成员仅限读写个人目录下数据。 |
本地存储
AIStudio 的开发机、任务、推理服务均提供本地存储。开发机的 root 文件系统(/
)支持持久化。
服务 | 容量 | 持久化 | 说明 |
---|---|---|---|
开发机 | 50 GiB | 是 | root 文件系统 |
开发机内部 Docker | 100 GiB | 否 | root 文件系统 |
任务 | 50 GiB | 否 | 任务 Worker 的 root 文件系统 |
推理 | 50 GiB | 否 | 推理服务实例的 root 文件系统 |
共享内存
AIStudio 的开发机、任务(Worker)均挂载了基于 Linux 虚拟内存的 /dev/shm
。在创建开发机或任务时,可以看到共享存储配置项。默认为资源规格内存容量的一半,暂不支持修改。
建议使用 /dev/shm
存放多次读写的临时数据,这些数据需要快速访问且在系统重启后不需要保留。
shell
Filesystem Size Used Avail Use% Mounted on
overlay 50G 36M 50G 1% /
tmpfs 64M 0 64M 0% /dev
gpfs 60T 53T 7.5T 88% /mnt/public
tmpfs 56G 0 56G 0% /dev/shm
...
TIP
如果使用开发机的 Docker 功能,开发机内启动的 Docker 容器也挂载了 /dev/shm
,但默认大小为 64MB
,支持通过 --shm-size
选项调整。详见 Docker 功能。