模型微调

⽆问芯穹⼤模型服务平台 GenStudio 提供模型微调服务，帮助您快速创建适合特定任务的定制化模型。您可以通过上传业务数据集，选择预置的⼤模型和微调⽅式，即可完成微调，获得⼀个性能更优且满⾜特定业务需求的模型。

微调可以带来以下优势：

• 提⾼模型在特定任务上的表现
• 减少推理时的上下⽂⻓度，降低延迟
• 使模型输出更符合特定的要求

GenStudio ⽀持多种主流的微调⽅式，包括全参数微调和参数⾼效微调（LoRA）等，并且适配了多种主流和国产芯⽚，让您⽆需关注复杂的算法和硬件细节，即可享受⼤模型微调服务。

基本操作

智算云控制台的模型微调页面提供了基本的增、删、查等操作。

• 创建微调任务：详细步骤参见发起微调任务。
• 停止微调任务：在微调任务列表中右侧操作栏中。停止操作需二次确认。微调任务一旦被终止，无法再重新启动。
• 删除微调任务：在微调任务列表中右侧操作栏中。删除操作需二次确认。

NOTE

在详情页面可以修改微调任务。当前仅支持编辑任务名称和描述。

查看微调任务详情

在微调任务列表中，点击任意条目右侧的详情操作按钮，可查看该微调任务的详情。微调任务详情页中，可切换展示任务详情、效果指标、任务时间三个标签页。

任务详情

• 基本信息：

  • 任务名称、创建时间、更新时间
  • 运行时长：为该微调任务从获取到资源启动以后累计运行的时间。
  • 剩余时长预估：为该任务若未被停止，剩余预计的完成时间。
  • Token用量：为当前该任务已累计训练的token量级 = 已完成的epoch数量*所用数据集的token数量。

• 训练配置：

  • 基础模型：该任务使用的基础模型的模型名称。
  • 微调方式：微调任务所选择的微调方式，为全量更新或LoRA。
  • 参数配置：用户可点击查看【查看参数】，点击后弹窗展示详细参数内容，包括参数名称、该任务配置的参数值，用户可hover查看每个参数的说明和解释。

• 数据集配置：

  • 数据集名称：指用户使用的数据集名称
  • 数据集来源：当前为用户输入的数据来源公网地址
  • 验证集：当前版本仅支持 训练集随机分割 【xx%】，xx为用户在创建任务时所选择的分割比例。当分割比例=0时，则意味着没有数据被随机分割出来变为验证集。

效果指标

指微调任务在运行过程中的评价指标，平台内嵌了 Tensorboard 的内容来展示训练过程中，随着不同的迭代进度，loss 等指标的变化。

任务事件

任务事件展示微调任务过程中发生的具体事件，帮助用户更好地定位当前整体的微调进度。微调任务可能包括的事件状态包括：

• 创建完成：指用户成功地提交了该微调任务
• 排队中：指任务需求较多时，该微调任务正在等待底层调度系统分配合适的资源
• 部署中：指调度系统已分配到了合适的资源开始准备部署该微调任务的环境和启动信息
• 数据处理中：指微调任务已开始运行，对用户所提供的微调数据集进行相应的格式处理，用于后续的微调训练
• 运行中：指该微调任务在正常的训练过程中
• 停止中：指当用户选择手动提前停止任务时的执行中间状态
• 训练终止：指用户发起手动停止任务的请求后，任务被成功的停止
• 任务更新：指用户通过编辑操作，对任务的名字或者描述做了更新
• 训练失败：指因数据集格式异常，数据集过大等一系列的原因，导致微调任务失败
• 模型生成中：指微调任务完成迭代在生成模型的过程
• 模型已保存：指微调任务生成的模型被成功地保存
• 训练成功：指该微调任务成功地运行完了所有用户指定的迭代数量。

服务计费

我们采取透明的计费方式，帮助您根据实际需要合理安排资金预算。

智算云平台的产品计费主要基于实际的 Token 用量，确保您按照实际使用量付费。同时，现阶段提供 Token 限免体验，以收集用户反馈并优化体验。

微调费用计算

微调服务支持对主流模型进行个性化调整，以满足特定的业务需求。计费逻辑基于微调任务的配置详情：

微调配置项目	单位	微调单价（元/k tokens）	示例用量	费用计算公式
数据集 Tokens 总量	tokens	-	100k	-
迭代轮次（Epoch 数量）	epoch	-	3	-
模型芯片训练单价	元/k tokens	X	-	100 * 3 * X = 总费用（300X元）

费用计算示例：

若您使用含有 100k Token 的数据集，进行 3 轮 Epoch 迭代，选择在 A 卡上使用模型 1 进行微调，单价为 X 元/k Token，则微调费用如下计算：

100k Token * 3 Epoch * X元/k Token = 300X 元

注意事项

• 所有费用均以实际使用量为准，我们将提供详细的使用报告供您核对。
• 后续我们计划推出资源包、配额等多元化计费选项，为您提供更多灵活的选择。