在实验正式开启之前,通常需要先选择几名用户进入测试阶段,观察实验是否能够正常获取想要收集的数据,或客户端是否有bug等。参与这一步的用户被称为“白名单用户”。添加的白名单,主要用来调试Feature,检查白名单用户是否可以命中实验/Feature。
主要使用场景:
场景1: Feature创建人在创建过程中,添加白名单用作测试验证
场景2: Feature创建后,发布之前,QA人员对该Feature进行测试验证
白名单无需发布即可生效
QA能便捷添加白名单
场景3: Feature发布后,若出现线上问题,快速回滚,回滚后想复现下这个版本的问题
场景4: 针对同一个Feature ①需测试的逻辑不同/②不同的人进行各自的测试验证,比如想测试安卓生效取值1的情况或安卓生效取值2分别的情况,哪种没问题即使用哪种策略
针对Feature可先加白名单测试验证,没问题后再作为一个正确版本
具体操作:
Feature详情增加一个单独的白名单测试功能
可针对已有版本 或 自行修改新的内容 进行白名单测试
支持白名单是否需满足受众规则2种测试场景
提交测试后,即白名单生效;白名单失效需用户主动取消测试
①测试名称:为该白名单测试填写一个名称
②测试版本:用户可选择测试已有版本,或自行修改变体和生效规则进行白名单测试
③失效时间: 选择失效日期(到时分秒),只能选择7天内的日期
示例:当前是2022.03.24,可选择日期范围03.24-03.30
注: 选择了某天后,默认到当天23:59:59失效
④白名单:即为不同的受众规则添加对应的白名单
上方展示自定义变量和变体信息,下方展示受众规则和白名单输入框
自定义变量&变体信息和受众规则:和编辑Feature一致,支持用户修改(包括:新增编辑自定义变量、增删编辑变体/变体名称、增删编辑受众规则)
白名单输入框:每个发布规则(含默认发布规则)对应一个白名单输入框
添加白名单并写好测试的内容后,点击下方【提交测试】按钮,即保存成功并进入测试中,白名单生效(返回白名单测试列表页)