You need to enable JavaScript to run this app.
导航
反转实验
最近更新时间:2024.09.23 16:45:52首次发布时间:2024.09.23 16:45:52

当一个AB实验的某个实验组指标胜出并上线后,为了观测该组策略/功能更长期的收益和影响,会在对照组(未体验过新策略/功能)中抽一部分流量再开一个AB实验-即「反转实验」,通过此反转实验长期跟踪观测其核心指标的变化。本文为您介绍如何在DataTester上开启反转实验。

背景信息

随着业务的快速迭代,AB实验的观测时间有限,往往经短期实验验证得到正向结论后就会全量发布,然而短期内的正向结果不足以评估长期收益,因此「反转实验」日渐成为AB实验评估的必要环节,能用来长期观测重要功能/策略上线后,其关键指标的提升是否仍然符合预期、是否会带来其他负面影响。建议所有要全量上线的实验都开一个小流量反转。
DataTester上召开反转实验时,会对已结束的原实验的对照组流量再进行一次哈希,将此部分的流量均匀分布,然后按反转实验配置的流量比例分配给反转实验的实验组和对照组,作为实际生效流量,如下图所示。

使用限制
  • 私有化4.9.2版本开始支持反转实验。
  • 反转实验开启的条件要求原实验必须已经结束。
  • 目前反转实验仅支持客户端-编程实验。

创建反转实验
  1. 实验详情→顶部导航→开启反转实验
    图片
    在弹出的界面中配置反转实验的实验参数。

  2. 配置基本信息。
    图片

    参数

    配置说明

    实验名称

    默认会在原实验名称后增加“-反转实验”作为该实验的名称,支持修改

    实验标签

    默认会加上【反转实验】标签,支持修改

    实验类型

    与原实验相同,不可修改

  3. 配置生效策略。
    图片

    参数

    配置说明

    实验流量

    根据流量层的选择进行选择即可

    用户受众规则

    建议配置成与原实验一致的受众规则。

  4. 配置实验版本。

    1. 配置实验版本参数。
      实验的参数配置置灰不可修改,默认的对照和实验版本配置与原实验相同,可以根据需要进行调整
      图片
    2. 配置实验版本流量。
      图片
      • 原实验对照组的实际生效流量:即原实验中,实验对照组的实际流量占比。
      • 实验流量:即上述步骤中选择的流量层,或默认创建的流量层中,使用的流量层中的流量比例。
      • 流量分配占比:即此处配置的反转实验的实验版本、对照版本间的流量分配比例,默认为流量均匀分配(即实验版本和对照版本平均分配),关闭右上角的均匀分配按钮后可手动设置各个版本的流量比例。
      • 实际生效流量:指反转实验的某个版本实际会有多少线上流量命中。数值计算公式如下:
        实际生效流量 = 原实验对照组的实际生效流量 * 实验流量 * 流量分配占比
  5. 添加实验指标。
    默认关注为原实验关注的指标,可根据需要进行调整。