Skip to content

存储概述

本文概述了 AIStudio 的共享文件存储和本地存储能力。

共享文件存储

AIStudio 提供共享文件存储功能,可供您在开发机、推理和任务等服务中使用。共享文件存储可让您轻松地与团队成员共享文件,并在大数据量情况下高效地进行协作。

NOTE

  • 公测免费用户暂无法使用共享文件存储功能。
  • 商用客户请联系无问芯穹购买存储资源。

功能亮点

  • 高性能:文件存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。
  • 易于使用:在开发机、推理和任务中均可使用,提供默认挂载点。
  • 安全可靠:共享文件存储采用多副本机制,确保数据安全可靠。

目录结构

智算云平台为每个租户提供以下目录:

目录权限说明
/datasets只读该目录用于预置只读数据集。平台暂未预置任何数据,如果有您上传需求,请联系无问芯穹。
/public读写用于共享文件,租户下任何成员用户对该目录下的数据均可读可写。
/user_dir/<username>读写每个成员仅限读写个人目录下数据。

使用方法

创建开发机,任务,和推理服务的过程中,挂载信息区域会自动展示智算云平台建议的挂载点。智算云平台自动建议的挂载点在多个服务中均一致。

您可以在 UI 上编辑或任意增删平台建议的挂载点。

alt text

建议挂载点与共享存储目录的对应关系表:

共享文件存储目录建议挂载点
/datasets/mnt/resource
/public/mnt/public
/user_dir/<username>/mnt/<username>

NOTE

暂不支持在开发机、任务、推理服务内部手动挂载智算云平台的共享存储。

常见问题

问:共享文件存储的性能如何?

答:共享文件存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。

问:如何挂载共享文件存储到我的服务?

答:当前仅支持在创建开发机、任务、推理服务时通过 UI 创建挂载点。

问:我需要上传数据到 /datasets 目录,该怎么办?

答:如果您需要上传数据到 /datasets 目录,请联系无问芯穹工作人员。

本地存储

AIStudio 的开发机、任务、推理服务均支持本地存储。

服务容量持久化说明
开发机20 GiBroot 文件系统
开发机内部 Docker100 GiBroot 文件系统
任务 Worker20 GiBroot 文件系统
推理20 GiBroot 文件系统

NOTE

开发机提供 20 GiB 免费的持久化存储。

共享内存

AIStudio 的开发机、任务(Worker)均挂载了基于 Linux 虚拟内存的 /dev/shm。在创建开发机或任务时,可以看到共享存储配置项。默认为资源规格内容容量的一半,暂不支持修改。

建议使用 /dev/shm 存放多次读写的临时数据,这些数据需要快速访问且在系统重启后不需要保留。

shell
Filesystem                         Size  Used Avail Use% Mounted on
overlay                             20G   36M   20G   1% /
tmpfs                               64M     0   64M   0% /dev
gpfs                                60T   53T  7.5T  88% /mnt/public
tmpfs                               56G     0   56G   0% /dev/shm
...

TIP

如果使用开发机的 Docker 功能,开发机内启动的 Docker 容器也挂载了 /dev/shm,但默认大小为 64MB,支持通过 --shm-size 选项调整。详见 Docker 功能