You need to enable JavaScript to run this app.
导航
白名单测试
最近更新时间:2023.06.09 16:02:41首次发布时间:2023.06.09 16:02:41
一、功能简介

在实验正式开启之前,通常需要先选择几名用户进入测试阶段,观察实验是否能够正常获取想要收集的数据,或客户端是否有bug等。参与这一步的用户被称为“白名单用户”。添加的白名单,主要用来调试Feature,检查白名单用户是否可以命中实验/Feature。

二、如何使用
  • 功能入口:【feature列表】-点击【feature名称】,展示已创建的白名单测试列表,可新建新的白名单测试

  • 主要使用场景:

    • 场景1: Feature创建人在创建过程中,添加白名单用作测试验证

      • 白名单无需发布即可生效
    • 场景2: Feature创建后,发布之前,QA人员对该Feature进行测试验证

      • 白名单无需发布即可生效

      • QA能便捷添加白名单

    • 场景3: Feature发布后,若出现线上问题,快速回滚,回滚后想复现下这个版本的问题

      • 已回滚的版本,可以支持加白名单测试
    • 场景4: 针对同一个Feature ①需测试的逻辑不同/②不同的人进行各自的测试验证,比如想测试安卓生效取值1的情况或安卓生效取值2分别的情况,哪种没问题即使用哪种策略

      • 针对Feature可先加白名单测试验证,没问题后再作为一个正确版本

  • 具体操作:

  • Feature详情增加一个单独的白名单测试功能

  • 可针对已有版本 或 自行修改新的内容 进行白名单测试

  • 支持白名单是否需满足受众规则2种测试场景

  • 提交测试后,即白名单生效;白名单失效需用户主动取消测试

  • 功能介绍:
    • ①测试名称:为该白名单测试填写一个名称

    • ②测试版本:用户可选择测试已有版本,或自行修改变体和生效规则进行白名单测试

    • ③失效时间: 选择失效日期(到时分秒),只能选择7天内的日期

      • 示例:当前是2022.03.24,可选择日期范围03.24-03.30

      • 注: 选择了某天后,默认到当天23:59:59失效

    • ④白名单:即为不同的受众规则添加对应的白名单

      • 上方展示自定义变量和变体信息,下方展示受众规则和白名单输入框

      • 自定义变量&变体信息和受众规则:和编辑Feature一致,支持用户修改(包括:新增编辑自定义变量、增删编辑变体/变体名称、增删编辑受众规则)

      • 白名单输入框:每个发布规则(含默认发布规则)对应一个白名单输入框

    • 添加白名单并写好测试的内容后,点击下方【提交测试】按钮,即保存成功并进入测试中,白名单生效(返回白名单测试列表页)