GenStudio 全新上架 ComfyUI 工作流托管服务GenStudio 全新上架 ComfyUI 工作流托管服务 ,已适配主流 ckpt 模型与节点了解更多
Skip to content

共享高性能存储

共享高性能存储可挂载至的不同实例中。容器实例间共享,可以多点读写,不受实例释放的影响。共享高性能存储默认支持多副本,数据可靠性高。

NOTE

共享高性能存储为收费产品。如已购买,将自动挂载到容器中的 /mnt 下。如需购买,请移步购买存储资源

挂载共享高性能存储

创建开发机,任务,和推理服务的过程中,存储配置区域会自动展示租户下的共享高性能存储目录,同时平台展示建议的挂载点(容器内部通过 /mnt 目录访问)。默认挂载点在所有服务模块中均一致。

alt text

共享高性能存储目录与平台建议的默认挂载点与存在以下对应关系。

共享高性能存储目录建议挂载点(可修改)
/datasets(只读)/mnt/resource
/public(租户下读写)/mnt/public
/user_dir/<username>(仅用户读写)/mnt/<username>

NOTE

请在 UI 上完成挂载点配置。暂不支持在开发机、推理实例、或任务 Worker 内部手动挂载智算云平台的共享高性能存储。

访问共享高性能存储

挂载共享高性能存储后,您就可以在开发机、任务 Worker、推理服务实例中访问共享高性能存储。

查看配额

与常规情况不同,在我们的 Kubernetes 容器中(包括开发机、任务的 Worker、推理服务实例),执行 df -h 命令实际上会返回应用于当前租户的真实配额信息。这是通过对系统调用进行特殊处理实现的,使用户能够直观地了解到当前租户在集群中被分配的存储资源限制。

以下是运行 df -h /mnt/* 后的输出示例。需要注意的,/mnt/ 目录下挂载的是同一个文件系统,所以示例中租户的总配额为 2.0 T 而不是 6.0 T。

shell
Filesystem      Size  Used Avail Use% Mounted on
testfilestore   2.0T  192G  1.9T  10% /mnt/public
testfilestore   2.0T  192G  1.9T  10% /mnt/resource
testfilestore   2.0T  192G  1.9T  10% /mnt/johndoe

传输数据

如果需要从本地设备传输数据到共享高性能存储,必须通过开发机或 AICoder:

  • AICoder:免费的纯 CPU 实例(Ubuntu)。借助智算云平台提供的 SSH 跳板机,您可通过 ssh -J 方式从公网 SSH 远程登录 AICoder。详细步骤参考 通过 AICoder 传输文件
  • 开发机:挂载了 1/2/4/8 个 GPU 的 Linux 实例(有 GPU 试用资源才能创建),提供公网 SSH 访问地址。开发机直接提供 SSH 远程登录的公网 IP 地址,缺点是会同时占用显卡资源。详细步骤参考 通过开发机传输文件

TIP

如果仅需要操作共享高性能存储,也可使用 AICoder 的进行文件传输。AICoder 为 CPU 实例,不会占用显卡资源。

数据传输工具

目前支持的本地数据传输方案都基于 SSH,默认支持命令行界面下 2 种常用的文件传输方案,即 scpsftp

如果您在寻找使用图形化界面传输文件的方案:

  • 使用 VS Code 远程开发,直接拖拽本地文件到左侧窗口,即可上传文件。
  • 使用 Filezilla 客户端 进行文件传输。仅开发机支持该方式。
  • 自行在开发机上安装 File Browser,支持通过 Web 界面轻松管理服务器上的文件。
  • AICoder 默认已集成 File Browser,支持直接通过网页传输文件。

如果您对断点续传有强烈要求:

总结

  • 开发机: scp/sftp(命令行)、filezilla(图形界面)、VS Code(图形界面)、自行安装 File Browser(图形界面)
  • AICoder: scp/sftp(命令行)、内建 File Browser、VS Code(图形界面)

TIP

  • 开发机支持 SSH 用户名/密码认证,也支持基于 SSH 密钥的认证。请提前确认可成功 SSH 远程登录开发机。如需帮助,请参考 SSH 远程登录
  • 由于 AICoder 仅支持基于 SSH 密钥的身份认证,所以必须提前在机器内添加您的 SSH 公钥。如需帮助,请参考添加 SSH 公钥指南

上传到只读目录

如有大量数据需要上传至租户共享高性能存储的 /datasets 只读目录,请联系无问芯穹工作人员。

常见问题

问:共享高性能存储的性能如何?

答:共享高性能存储性能可达每单位 30k IOPS,上限 1 亿文件(以 10TB 为单位)。

问:如何挂载共享高性能存储到我的服务?

答:当前仅支持在创建开发机、任务、推理服务时通过 UI 创建挂载点。

问:我需要上传数据到 /datasets 目录,该怎么办?

答:如果您需要上传数据到 /datasets 目录,请联系无问芯穹工作人员。