Skip to content

存储概述

本文概述了 AIStudio 的共享高性能存储和本地存储能力。

NOTE

  • 免费用户暂无法使用共享高性能存储功能。
  • 商用客户请联系无问芯穹购买存储资源

共享高性能存储

AIStudio 提供共享高性能存储功能,可供您在开发机、推理和任务等服务中使用。共享高性能存储可让您轻松地与团队成员共享文件,并在大数据量情况下高效地进行协作。

功能亮点

  • 高性能:文件存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。
  • 易于使用:在开发机、推理和任务中均可使用,提供默认挂载点。
  • 安全可靠:共享高性能存储采用多副本机制,确保数据安全可靠。

目录结构

如果您的租户在当前可用区购买了共享高性能存储,智算云平台为租户下的每个用户开放以下目录:

目录权限说明
/datasets只读该目录用于预置只读数据集。平台暂未预置任何数据,如果有您上传需求,请联系无问芯穹。
/public读写用于共享文件,租户下任何成员用户对该目录下的数据均可读可写。
/user_dir/<username>读写每个成员仅限读写个人目录下数据。

使用方法

创建开发机,任务,和推理服务的过程中,挂载信息区域会自动展示智算云平台建议的挂载点。智算云平台自动建议的挂载点在多个服务中均一致。

您可以在 UI 上编辑或任意增删平台建议的挂载点。

alt text

建议挂载点与共享存储目录的对应关系表:

共享高性能存储目录建议挂载点
/datasets/mnt/resource
/public/mnt/public
/user_dir/<username>/mnt/<username>

NOTE

暂不支持在开发机、任务、推理服务内部手动挂载智算云平台的共享高性能存储。

查看配额

与常规情况不同,在我们的 Kubernetes 容器中(包括开发机、任务的 Worker、推理服务实例),执行 df -h 命令实际上会返回应用于当前租户的真实配额信息。这是通过对系统调用进行特殊处理实现的,使用户能够直观地了解到当前租户在集群中被分配的存储资源限制。

以下是运行 df -h /mnt/* 后的输出示例。需要注意的,/mnt/ 目录下挂载的是同一个文件系统,所以示例中租户的总配额为 2.0 T 而不是 6.0 T。

shell
Filesystem      Size  Used Avail Use% Mounted on
testfilestore   2.0T  192G  1.9T  10% /mnt/public
testfilestore   2.0T  192G  1.9T  10% /mnt/resource
testfilestore   2.0T  192G  1.9T  10% /mnt/johndoe

常见问题

问:共享高性能存储的性能如何?

答:共享高性能存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。

问:如何挂载共享高性能存储到我的服务?

答:当前仅支持在创建开发机、任务、推理服务时通过 UI 创建挂载点。

问:我需要上传数据到 /datasets 目录,该怎么办?

答:如果您需要上传数据到 /datasets 目录,请联系无问芯穹工作人员。

本地存储

AIStudio 的开发机、任务、推理服务均支持本地存储。

服务容量持久化说明
开发机50 GiBroot 文件系统
开发机内部 Docker100 GiBroot 文件系统
任务 Worker50 GiBroot 文件系统
推理50 GiBroot 文件系统

NOTE

开发机提供 50 GiB 免费的持久化存储。

共享内存

AIStudio 的开发机、任务(Worker)均挂载了基于 Linux 虚拟内存的 /dev/shm。在创建开发机或任务时,可以看到共享存储配置项。默认为资源规格内容容量的一半,暂不支持修改。

建议使用 /dev/shm 存放多次读写的临时数据,这些数据需要快速访问且在系统重启后不需要保留。

shell
Filesystem                         Size  Used Avail Use% Mounted on
overlay                             50G   36M   50G   1% /
tmpfs                               64M     0   64M   0% /dev
gpfs                                60T   53T  7.5T  88% /mnt/public
tmpfs                               56G     0   56G   0% /dev/shm
...

TIP

如果使用开发机的 Docker 功能,开发机内启动的 Docker 容器也挂载了 /dev/shm,但默认大小为 64MB,支持通过 --shm-size 选项调整。详见 Docker 功能