入口1:在模型广场进入模型详情页面中,点击右上角的 模型精调 按钮。
入口2:在模型精调页面,点击左上角 创建精调任务 按钮。
填写模型精调任务表单,包括任务名称、可见范围,选择希望精调的基座模型、训练方式、精调使用的数据集等,具体填写说明见下表。
模型精调表单配置字段填写说明
字段名 | 是否必填 | 描述及填写规范 |
---|---|---|
任务名称 | 是 | 给本次精调任务命名,方便记录检索;支持1~200位可见字符,且只包含大小写字母、中文、数字、中划线、下划线 |
任务描述 | 否 | 给本次精调任务添加除名称以外的其他描述信息,方便多次迭代版本,重要信息记录;包含大小写字母、中文、数字、中划线、下划线 |
训练类型 | 是 | 平台提供2种训练方法:SFT精调和继续预训练 |
模型选择 | 是 | 下拉选择精调基于的基础模型,目前平台仅开放了豆包模型 |
参数配置 | 是 | 具体参数见精调任务页面表单,平台有提供默认值作为推荐,用户可根据具体需求进行调整 |
产出数量 | 是 | 训练完成后保存的模型数量,产出模型将自动导出至模型仓库。也可以在任务详情页的模型产出页签下载模型。 |
训练集 | 是 | Train Set,用于训练模型以及确定参数;精调数据集格式可参考页面格式说明,支持上传训练集文件、从TOS导中导入2种方式 |
混入预置数据集 | 否 | 在用户上传的训练集数据中混入豆包模型的SFT(Supervised Fine Tuning,有监督微调)数据,混入比例表示混合后SFT数据占总数据量的比例,可调节范围:1-99%;平台默认关闭,用户可根据自己需求选择打开; |
验证集 | 否 | Validation Set,模型训练过程中,用于确定网络结构以及调整模型的超参数;平台默认关闭,用户可根据自己需求选择打开,可以从训练集中随机分割一定比例作为验证集,也可以上传独立于训练集的数据集,数据格式可参考页面格式说明,数据集支持从本地上传或从TOS导入 |
注意
数据集导入成功大约5秒后,右侧栏会显示本次模型精调任务所需的训练费用预估。确认无误后,点击“提交精调任务”按钮创建精调任务。
当前模型精调支持上传或导入jsonl格式数据集文件,以下为详细格式说明:
格式示例:
{"messages": [{"role": "user", "content": "孤灯照不寐,风雨满西林。下一句是?"}, {"role": "assistant", "content": "多少关心事,书灰到夜深。"}]} {"messages": [{"role": "system", "content": "请根据古诗内容,仅回复作者的名字。"}, {"role": "user", "content": "孤灯照不寐,风雨满西林。多少关心事,书灰到夜深。"}, {"role": "assistant", "content": "李群玉", "loss_weight": 1.0}]}
格式说明:
说明
如希望提升模型的FunctionCall能力,需选择支持FunctionCall训练的模型并提供包含FunctionCall格式数据的训练集用于精调,具体模型和格式可参考5 FC精调功能。
格式示例:
{"query":"乐清市珍俊服装店","docs":[{"text":"标题:先跪着把钱挣了.才能站着做选择.一定要好好赚钱.人这一生.","label":0},{"text":"标题:看来彩礼是要高了些..CCC#服装人#抖音助手#做个快乐的女孩#实体店#穿搭#实体王府大酒店","label":1},{"text":"标题:最近很喜欢一段话:照顾好自己的健康和情绪,这场人生,你就赢了一大半,其余的其余,人生自有","label":0}]} jsonl
格式说明:
当前该训练方式暂未公开
格式示例:
{"messages": [{"role": "user", "content": "孤灯照不寐,风雨满西林。下一句是?"}, {"role": "assistant", "content": [{"text": "多少关心事,书灰到夜深。", "score": 1.0}, {"text": "明月照大地,花香飘满园。", "score": 0.0}]}]} {"messages": [{"role": "system", "content": "请根据古诗内容,仅回复作者的名字。"}, {"role": "user", "content": "孤灯照不寐,风雨满西林。多少关心事,书灰到夜深。"}, {"role": "assistant", "content": [{"text": "李群玉", "score": 1.0}, {"text": "李白", "score": 0.0}]}]} jsonl
格式说明:
格式示例:
{"text":"火山引擎机器学习平台是面向机器学习应用开发者,提供【开发机】和【自定义训练】等丰富建模工具、多框架高性能模型推理服务的企业级开发平台,支持从数据托管、代码开发、模型训练、模型部署的全生命周期工作流。"} {"text":"支持运行超大规模的分布式任务,包含多种预置算法框架和自定义算法框架。提供稳定、灵活、高性能的机器学习训练环境。"} {"text":"支持多种框架的模型在异构硬件上的一键部署,具有高吞吐、低延时、实时扩缩容等特点,使推理服务更具弹性和容错性。"} jsonl
格式说明: