存储概述
本文概述了 AIStudio 的存储服务能力。AIStudio 为用户提供了多种存储选项,可分为预置存储和扩充存储两大类。
预置存储
智算云平台为每个容器提供了预置存储,为容器运行提供基础存储空间。
系统盘
AIStudio 的开发机、任务、推理服务均提供系统盘。您可以使用 df -h /
命令查看 rootfs 的用量信息。
服务 | 容量 | 持久化 | 说明 |
---|---|---|---|
开发机 | 50 GiB | 是 | root 文件系统(/tmp 路径例外,关机时清除) |
任务 | 50 GiB | 否 | 任务 Worker 的 root 文件系统 |
推理 | 50 GiB | 否 | 推理服务实例的 root 文件系统 |
扩充存储
除了预置存储外,您还可以根据需要配置扩充存储,满足更大数据量或特殊场景的需求。扩充存储包括云盘和共享高性能存储。详见扩充存储。
云盘
云盘为非共享的扩充存储,基于分布式块存储的持久化存储。
- 仅限单台开发机挂载使用。
- 仅可在开发机运行时访问该机云盘。
- 暂仅支持按量付费型开发机。
共享高性能存储
共享高性能存储是租户级别的高性能文件存储,支持多个服务同时挂载和访问,适合团队协作和大规模数据处理场景。
- 支持开发机、任务、推理服务、AICoder 同时挂载使用。
- 提供基于用户/用户组的权限控制。
- 数据永久保存,删除服务实例不影响存储数据。
- 需要联系商务购买,暂不支持线上自助购买。
AIStudio 在多个地理位置部署了集群,每个可用区的高性能存储相互独立。在某个可用区购买的高性能存储,仅能被该可用区的服务实例使用。
详见扩充存储。
共享内存
AIStudio 的开发机、任务(Worker)均挂载了基于 Linux 虚拟内存的 /dev/shm
,用于存放多次读写的临时数据,这些数据需要快速访问且在系统重启后不需要保留。在创建开发机或任务时,可以看到**共享内存(shm)**配置项。默认为资源规格内存容量的一半,暂不支持修改。
一般情况下,建议避免手动写入数据到 /dev/shm
。推荐由专门的库、框架或应用程序自行管理,例如 Pytorch 的 Dataloader 在多进程加载数据时会使用 /dev/shm
。
Filesystem Size Used Avail Use% Mounted on
overlay 50G 36M 50G 1% /
tmpfs 64M 0 64M 0% /dev
gpfs 60T 53T 7.5T 88% /mnt/public
tmpfs 56G 0 56G 0% /dev/shm
...
提示
如果使用开发机的 Docker 功能,开发机内启动的 Docker 容器也挂载了 /dev/shm
,但默认大小为 64MB
,支持通过 --shm-size
选项调整。详见 Docker 功能。
常见问题
/dev/shm 大小可以调整吗?
开发机、任务 Worker、推理实例的 /dev/shm
默认为当前使用的算力规格内存的一半,暂不支持修改。
开发机启用 Docker 容器功能后,在开发机内启动的容器默认仅有 64M 大小的 /dev/shm
,可在 docker run
命令中添加 --shm-size
调整共享内存大小。该修改仅适用于开发机内部启动的容器。
/dev/shm 的数据会保存吗?
不会,/dev/shm 是基于内存的临时文件系统,系统重启后数据会丢失。