当一个AB实验的某个实验组指标胜出并上线后,为了观测该组策略/功能更长期的收益和影响,会在对照组(未体验过新策略/功能)中抽一部分流量再开一个AB实验-即「反转实验」,通过此反转实验长期跟踪观测其核心指标的变化。本文为您介绍如何在DataTester上开启反转实验。
随着业务的快速迭代,AB实验的观测时间有限,往往经短期实验验证得到正向结论后就会全量发布,然而短期内的正向结果不足以评估长期收益,因此「反转实验」日渐成为AB实验评估的必要环节,能用来长期观测重要功能/策略上线后,其关键指标的提升是否仍然符合预期、是否会带来其他负面影响。建议所有要全量上线的实验都开一个小流量反转。
DataTester上召开反转实验时,会对已结束的原实验的对照组流量再进行一次哈希,将此部分的流量均匀分布,然后按反转实验配置的流量比例分配给反转实验的实验组和对照组,作为实际生效流量,如下图所示。
实验详情→顶部导航→开启反转实验
在弹出的界面中配置反转实验的实验参数。
配置基本信息。
参数 | 配置说明 |
---|---|
实验名称 | 默认会在原实验名称后增加“-反转实验”作为该实验的名称,支持修改 |
实验标签 | 默认会加上【反转实验】标签,支持修改 |
实验类型 | 与原实验相同,不可修改 |
配置生效策略。
参数 | 配置说明 |
---|---|
实验流量 | 根据流量层的选择进行选择即可 |
用户受众规则 | 建议配置成与原实验一致的受众规则。 |
配置实验版本。
添加实验指标。
默认关注为原实验关注的指标,可根据需要进行调整。