上传文本模型资产
GenStudio 支持将用户上传本地模型文件,用于部署为在线服务。
可上传的文本模型资产
- 当前仅支持大语言模型及 Lora,暂不支持上传嵌入模型、重排序模型为模型资产。
- 上传基础模型一般适用于部署自有的 SFT 微调模型。
- 如果上传 LoRA 权重,需要适配平台列出的基础模型。
- 单个模型资产的总文件大小不可超过 150GB。
NOTE
当前无论是 LoRA 权重模型,还是基础模型,均只支持以下模型:
qwen1.5-14b-chat
qwen2-7b-instruct
qwen2.5-7b-instruct
qwen2.5-14b-instruct
文件要求
GenStudio 将对上传的模型资产进行校验,如果缺少必要文件,将无法成功导入为可部署的模型。
请参考以下模型资产文件结构,基础模型文件结构也可参考 魔搭社区:Qwen2-7B-Instruct:
# 基模型
├── config.json # 必须
├── generation_config.json # 可选
├── model-00001-of-00002.safetensors # 必须
├── model-00002-of-00002.safetensors # 必须
├── model.safetensors.index.json # 可选
├── special_tokens_map.json # 可选
├── tokenizer_config.json # 必须
├── tokenizer.json # 必须
├── tokenizer.model # 必须
# lora
├── adapter_config.json # 必须
├── adapter_model.safetensors # 必须
├── added_tokens.json # 可选
├── special_tokens_map.json # 可选
├── tokenizer_config.json # 可选
├── tokenizer.json # 可选
└── tokenizer.model # 可选
Step 0 创建模型信息
在 GenStudio「模型管理」页面,点击创建我的模型,可开始创建模型信息。
在这一步中,我们需要先创建一条模型资产记录,并提供必要信息:
- 模型类型:暂仅支持大语言模型
- 模型文件类型:选择基础模型 或 LoRA 权重
- 模型系列:从平台当前支持的模型系列中选择
- 模型名称:填写自定义名称
Step 1 上传模型
创建成功后,回到「模型管理」页面,可查看新建的模型资产记录。此时,模型的「导入状态」为待上传。
点击右侧上传,弹出上传信息页面,。您可以复制 scp/sftp 命令行,或通过 FileZilla 客户端上传模型资产。弹窗中已附有一次性的登录凭证。
如果模型较大,可能传输时间较长,请耐心等待。
WARNING
在本地上传结束后,必须点击弹窗中的已完成上传,开始导入,否则平台无法识别上传进度。
Step 2 导入模型
如果上传成功,模型状态将变为待导入。点击「已完成上传,开始导入」按钮,即可开始导入模型,模型状态将变更导入中。如果模型导入成功,状态将变为已导入。
NOTE
模型导入为耗时步骤,最长可能需要一天左右。
后续步骤
导入成功的模型用于部署。在「模型服务」页面,点击创建模型服务,即可部署为在线服务。详细操作请参见部署模型服务。