2024-11-21 一站式 AI 平台生日大派对!2024-11-21 一站式 AI 平台生日大派对! 无问芯穹特别推出多项超值福利!立即参与
Skip to content

上传文本模型资产

GenStudio 支持将用户上传本地模型文件,用于部署为在线服务。

可上传的文本模型资产

  • 当前仅支持大语言模型及 Lora,暂不支持上传嵌入模型、重排序模型为模型资产。
  • 上传基础模型一般适用于部署自有的 SFT 微调模型。
  • 如果上传 LoRA 权重,需要适配平台列出的基础模型。
  • 单个模型资产的总文件大小不可超过 150GB。

NOTE

当前无论是 LoRA 权重模型,还是基础模型,均只支持以下模型:

  • qwen1.5-14b-chat
  • qwen2-7b-instruct
  • qwen2.5-7b-instruct
  • qwen2.5-14b-instruct

文件要求

GenStudio 将对上传的模型资产进行校验,如果缺少必要文件,将无法成功导入为可部署的模型。

请参考以下模型资产文件结构,基础模型文件结构也可参考 魔搭社区:Qwen2-7B-Instruct

# 基模型
├── config.json  # 必须 
├── generation_config.json  # 可选
├── model-00001-of-00002.safetensors  # 必须
├── model-00002-of-00002.safetensors  # 必须
├── model.safetensors.index.json  # 可选
├── special_tokens_map.json  # 可选
├── tokenizer_config.json  # 必须
├── tokenizer.json    # 必须
├── tokenizer.model   # 必须

# lora
├── adapter_config.json  # 必须
├── adapter_model.safetensors  # 必须
├── added_tokens.json  # 可选
├── special_tokens_map.json  # 可选
├── tokenizer_config.json # 可选
├── tokenizer.json   # 可选
└── tokenizer.model  # 可选

Step 0 创建模型信息

在 GenStudio「模型管理」页面,点击创建我的模型,可开始创建模型信息。

alt text

在这一步中,我们需要先创建一条模型资产记录,并提供必要信息:

  • 模型类型:暂仅支持大语言模型
  • 模型文件类型:选择基础模型LoRA 权重
  • 模型系列:从平台当前支持的模型系列中选择
  • 模型名称:填写自定义名称

Step 1 上传模型

创建成功后,回到「模型管理」页面,可查看新建的模型资产记录。此时,模型的「导入状态」为待上传

alt text

点击右侧上传,弹出上传信息页面,。您可以复制 scp/sftp 命令行,或通过 FileZilla 客户端上传模型资产。弹窗中已附有一次性的登录凭证。

alt text

如果模型较大,可能传输时间较长,请耐心等待。

WARNING

在本地上传结束后,必须点击弹窗中的已完成上传,开始导入,否则平台无法识别上传进度。

Step 2 导入模型

如果上传成功,模型状态将变为待导入。点击「已完成上传,开始导入」按钮,即可开始导入模型,模型状态将变更导入中。如果模型导入成功,状态将变为已导入

alt text

NOTE

模型导入为耗时步骤,最长可能需要一天左右。

后续步骤

导入成功的模型用于部署。在「模型服务」页面,点击创建模型服务,即可部署为在线服务。详细操作请参见部署模型服务

alt text