DataTester为您预置了大模型评测指标,支持从回答关联度、回答真实度、上下文关联度等指标维度,对大模型的应用效果进行评测,并为您生成评测报告,在此基础之上,DataTester还支持新建自定义指标用于大模型应用评测,本文为您介绍新建自定义指标和管理指标的操作要点。
登录DataTester产品控制台后,在左侧导航栏单击场景能力>大模型测评>指标管理,进入模型测评任务页面,单击页面右上角的新建指标。
配置指标参数。
参数 | 配置说明 |
---|---|
指标英文名、指标展示名、指标描述 | 自定义指标相关名称和描述,用于标识创建的自定义指标。 |
分数最大值 | 用于指定后续对应指标评测打分时的最大分数,即以几分制对该指标进行打分,默认为1分。 |
评估器类型 | 当前仅支持LLM prompt。 |
Prompt | 通过输入指标的prompt,明确当前指标依赖的数据字段、指标打分逻辑,后续DataTester会基于此处的prompt对当前指标进行评测打分。
|
完成指标创建后,您可以创建评测任务,在评测任务中选用已创建的指标,操作详情请参见新建评测任务。