父子实验,指的是在命中已有实验(父实验)某一实验组的用户中切分流量开一个新的实验(子实验)。本文为您介绍DataTester的父子实验应用场景和操作要点。
应用场景
核心场景:
需要基于一个已经开启的实验的「进组人群」,继续圈定用户进行新实验的探索。特点如下:
- 父实验不能关闭,用于圈定子实验的base用户。
- 子实验能开多个,复用所选父实验组的流量。
- 父子实验是不同的功能,即子实验的所有用户都继承了父实验的配置(功能),用子实验看叠加效果。
- 父实验数据不可看,被子实验的策略影响,其结论不具备参考意义。
- 在一个运行中的实验之上,想要同时验证第二个功能/策略的组合效果。
业务场景:
- 新闻类App,父实验为是否向用户打开「娱乐」频道。后续在产品迭代进程中,在此基础上开启子实验,针对已打开「娱乐」频道的实验版本中的用户,提供不同功能布局和样式,以观测用户的使用时长和留存。
- 电商平台,购物车设计三种按钮样式(A1、A2、A3),结算页面CTA按钮设计三种样式(B1、B2、B3),产品经理希望购物车和结算页面CTA的每种样式分别一一对应,如看见A1的用户进入结算页面后只能看到B1,以此类推。此时可在购物车开启父实验A,在结算页面CTA按钮上开启子实验B,实验版本流量逐一继承。
注意事项与前提条件
前提条件
接入客户端SDK或者服务端SDK,详见数据接入概述。
基本原则
- 子实验生命周期须囊括在父实验生命周期之内,即有运行中的子实验,父实验不能关停。
- 父实验与子实验为1对N关系,子实验和父实验、子实验间不能位于同一互斥组上。
- 父子实验模式可不同。
创建限制
- 当前仅支持以运行状态的「编程实验」作为父实验。
- 父子实验类型需一致,客户端子实验只能继承客户端父实验,服务端子实验只能继承服务端父实验。
- 不支持祖孙实验:父子关系当前只支持两级,不支持多级,不支持成环。
- 权限限制:非实验的协作者,不能基于该实验开启子实验。
创建父子实验
常规父子实验
1. 创建入口
父实验的协作者,在「实验列表」中点击目标父实验进入详情页,点击「更多」,从下拉列表中选择「开启父子实验」。如下:
2. 填写基本信息
3. 设置生效策略
4. 配置实验版本
关联父版本:
- 每个子实验的实验版本都可以关联多个父实验的具体版本,或选择「不继承实验版本」。
- 父实验的实验版本参照filter受众过滤条件的实现机制,对进入子实验的流量进行过滤筛选。
进组不出组,指的是勾选「流量变更不会影响已分配的进组用户,只会对尚未进组用户生效」。
父子实验,是否勾选「进组不出组」对子实验的流量影响如下:
序号 | 父实验 「进组不出组」 | 子实验 「进组不出组」 | 产品逻辑和行为 |
---|
1 | 是 | 是 | 父子实验都记录用户进组状态,一旦进组,后续不论流量如何变更都不会导致用户出组。 |
2 | 是 | 否 | 父实验记录用户进组状态,子实验不记录。子实验进组流量必须命中父实验,当子实验流量变更时,子实验的进组用户可能发生出组。 |
3 | 否 | 是 | 父实验不记录用户进组状态,子实验记录用户进组状态。一旦子实验用户进组后,即使在父实验出组,子实验也会保持进组状态。 |
4 | 否 | 否 | 父子实验均不记录用户进组状态,父实验的流量变更及过滤条件引发的用户出组,同时也会影响子实验。 |
5. 添加实验指标
查找父/子实验
在实验报告页报告概览可查找父/子实验,如下:
实验血缘族谱
父子实验之间会互相影响,相应的实验结果也会有一定的相关性。
- 从子实验视角:父实验作为过滤条件,会影响子实验的进组流量。
- 从父实验视角:父实验比较被动,其流量会受到后开启的子实验污染。
因此提供实验血缘族谱关系图,可以更全面的提示您当前父实验的子实验都有哪些,以方便您进行科学决策。
在流量配置类型的父子关联实验后,展现每个实验的血缘族谱,将当前实验与其父实验、兄弟实验、子实验和各个实验固化的Feature展现出来,展现实验级别继承关系。如下: