You need to enable JavaScript to run this app.
导航
(可选)新建指标
最近更新时间:2024.09.26 10:48:43首次发布时间:2024.09.23 20:29:42

DataTester为您预置了大模型评测指标,支持从回答关联度、回答真实度、上下文关联度等指标维度,对大模型的应用效果进行评测,并为您生成评测报告,在此基础之上,DataTester还支持新建自定义指标用于大模型应用评测,本文为您介绍新建自定义指标和管理指标的操作要点。

操作步骤
  1. 登录DataTester产品控制台后,在左侧导航栏单击场景能力>大模型测评>指标管理,进入模型测评任务页面,单击页面右上角的新建指标
    图片

  2. 配置指标参数。
    图片

    参数

    配置说明

    指标英文名、指标展示名、指标描述

    自定义指标相关名称和描述,用于标识创建的自定义指标。

    分数最大值

    用于指定后续对应指标评测打分时的最大分数,即以几分制对该指标进行打分,默认为1分。

    评估器类型

    当前仅支持LLM prompt

    Prompt

    通过输入指标的prompt,明确当前指标依赖的数据字段、指标打分逻辑,后续DataTester会基于此处的prompt对当前指标进行评测打分。
    DataTester为您提供了一个prompt示例,您可基于示例进行修改,或参考示例的写作示例进行重写,需关注:

    • 指标依赖的数据字段:即后续对大模型应用进行当前指标维度打分时,强相关的数据字段有哪些。例如,示例中的input、output、ground_truth。依赖的数据字段需使用示例中的变量形式进行标注。
    • 指标打分逻辑:即后续进行打分时,对于分数高低(即对应指标表现好坏)的评测标准。

后续步骤

完成指标创建后,您可以创建评测任务,在评测任务中选用已创建的指标,操作详情请参见新建评测任务