GenStudio 于 2025 年 5 月 推出 GenStudio 高级版/企业版升级服务,大幅提升 API 调用频率GenStudio 于 2025 年 5 月 推出 GenStudio 高级版/企业版升级服务,大幅提升 API 调用频率 ,依然保留免费基础服务了解计费
Skip to content

存储概述

本文概述了 AIStudio 的存储服务能力。

系统盘

AIStudio 的开发机、任务、推理服务均提供系统盘

服务容量持久化说明
开发机50 GiBroot 文件系统(/tmp 路径例外,关机时清除)
任务50 GiB任务 Worker 的 root 文件系统
推理50 GiB推理服务实例的 root 文件系统

您可以使用 df -h / 命令查看 rootfs 的用量信息。

共享高性能存储

租户可购买共享高性能存储,用于租户下所有成员共享文件,在开发机、推理和任务等服务中均可挂载使用,便于在大数据量情况下高效地协作和复用数据。支持基于用户/用户组的操作权限控制和挂载权限管理。

注意

共享高性能存储为收费产品。如需购买,请联系商务。

云盘

云盘是基于分布式块存储的持久化存储,暂支持按量付费型开发机

注意

云盘为非共享存储,仅限单台开发机挂载使用,仅可在开发机运行时访问该机云盘。

共享内存

AIStudio 的开发机、任务(Worker)均挂载了基于 Linux 虚拟内存的 /dev/shm,用于存放多次读写的临时数据,这些数据需要快速访问且在系统重启后不需要保留。在创建开发机或任务时,可以看到**共享内存(shm)**配置项。默认为资源规格内存容量的一半,暂不支持修改。

一般情况下,建议避免手动写入数据到 /dev/shm。推荐由专门的库、框架或应用程序自行管理,例如 Pytorch 的 Dataloader 在多进程加载数据时会使用 /dev/shm

shell
Filesystem                         Size  Used Avail Use% Mounted on
overlay                             50G   36M   50G   1% /
tmpfs                               64M     0   64M   0% /dev
gpfs                                60T   53T  7.5T  88% /mnt/public
tmpfs                               56G     0   56G   0% /dev/shm
...

提示

如果使用开发机的 Docker 功能,开发机内启动的 Docker 容器也挂载了 /dev/shm,但默认大小为 64MB,支持通过 --shm-size 选项调整。详见 Docker 功能

常见问题

存储服务的文件数量有限制吗?

文件数量对应文件系统的 inode 数量,每个文件或目录都会占用一个 inode。软链接同样会占用一个 inode。

  • 对于 AIStudio 的开发机、任务、推理服务的本地存储,建议使用 df -i / 监控 inode 使用情况。
  • 对于云盘,建议使用 df -i /datadisk 监控 inode 使用情况。
  • 对于共享高性能存储,暂无法直接获取 inode 使用情况。参考限制为每 10TB 存储空间上限 1 亿个文件。如遇到疑似 inode 耗尽问题,请联系无问芯穹

警告

如果您的使用场景对 inode 数量有较高要求,建议提前咨询无问芯穹技术支持。

共享高性能存储可以在所有服务中使用吗?

是的,可以在开发机、推理服务、任务、AICoder 中使用,默认挂载在 /mnt/public 目录下。

其中 AICoder 为免费提供的 CPU 实例,使用 AICoder 读写共享文件存储数据,可避免占用 GPU 资源。

任务 Worker 和推理服务实例的系统盘数据会保存吗?

不会,任务和推理服务的 50 GiB 本地存储不支持持久化,重启后数据会丢失。

开发机的系统盘支持扩容吗?

开发机的 rootfs 文件系统容量固定为 50 GiB,不支持扩容。

云盘可以在多个开发机间共享吗?

不可以,云盘为非共享存储,仅限单台开发机挂载使用。

/dev/shm 大小可以调整吗?

开发机、任务 Worker、推理实例的 /dev/shm 默认为当前使用的算力规格内存的一半,暂不支持修改。

开发机启用 Docker 容器功能后,在开发机内启动的容器默认仅有 64M 大小的 /dev/shm,可在 docker run 命令中添加 --shm-size 调整共享内存大小。该修改仅适用于开发机内部启动的容器。

/dev/shm 的数据会保存吗?

不会,/dev/shm 是基于内存的临时文件系统,系统重启后数据会丢失。

哪种存储适合存放团队共享的数据?

目前共享高性能存储支持服务共享访问,且提供高性能访问(30k IOPS)。

如何在不同服务间共享数据?

可以使用共享高性能存储(/mnt/public),它支持在开发机、任务和推理服务间共享数据。