1.工具能力
通过用户ssid查询用户命中的实验详情、命中时间和命中次数,辅助排查定位跟实验相关的问题
- 查询单个、多个用户ssid命中的实验,可查询在近七天时间范围内的实验,建议选择单天进行查询
- 增加查询条件,可根据实验名称、实验组配置参数、实验标签、操作系统、实验owner、实验ID、实验组ID(版本ID)、实验状态、流量区间等过滤符合需求的实验
- 可将查询条件存为模板,后需查询同一批用户命中实验情况可直接调用模板
- 对查询结果支持自定义排序,可使用“查询id命中数”、“实验总命中用户数”、“查询用户分布情况”、“实验放量时间”、“实验暂停时间”、“实验关闭时间”来进行排序,找到最有可能的实验
- 支持下载数据,导出实验数据和实验组数据
2.适用场景
- 个体问题排查:通过查询用户是否命中某个实验的实验组,来定位是否是某个实验引起的问题。
- 常见使用场景
- 开发测试实验阶段:确认用户是否正确进组且被正确记录。
- 根因定位&Debug:快速查找符合预期的case,定位和排查问题。
- 多用户查询:遇到相似问题的用户反馈集中爆发,怀疑可能跟某实验有关,可以通过此工具来定位问题。
- 常见使用场景
- 线上排障:通过用户反馈信息,批量查询,找出最可疑的实验。
3.如何使用?
工具入口
查询方式
- 通过输入用户ssid点击查询
- 查询范围为有权限产品的全部接入来源
- 默认时间范围为最近七天,可选择范围为最近7天内的数据,可查询用户在该时间范围内命中的实验
- 默认勾选“过滤100%单组实验”和“过滤对照组”
2. 可按需增加查询条件
通过增加查询条件,选择条件类型,过滤出你需要的实验list。支持条件如下:
- 实验名称:可输入多个关键词,用,英文逗号分割
- 实验组配置参数:过滤实验配置参数,可输入key或value值
- 实验标签:可选择对应的标签
- 操作系统:目前支持全部、iphone和android
- 实验owner:支持owner和群组
- 实验ID:输入单个实验ID
- 实验组ID(版本ID):输入单个实验组ID
- 实验状态:支持全部状态、已结束、进行中、调试中等
3. 其他说明
- 当查询中遇到希望取消的情况,可以点击取消按钮进行取消
- 可将查询条件存为模板,后需查询同一批用户命中实验情况可直接调用模板
查询结果
- 排序功能
对查询结果提供自定义排序功能
- 查询id命中数/实验总命中用户数:从大到小(默认值)/从小到大
- 查询用户分布情况:优先展示不均等(默认值)/优先展示均等
- 实验放量时间/实验暂停时间/实验关闭时间:从远到近(默认值)/从近到远
- 通过左侧四条杠,可以实现排序优先级的调整,1为最高优先级,3为最低优先级。
- 通过右侧开关,可将该排序功能关闭。
- 任意排序数据如无,则置底。
- 可一键恢复默认排序规则。
2. 结果展示
查询结果会以实验粒度进行展示,结果中也将显示
(1) 实验信息:实验名称,运行状态,实验命中人数,流量比例,实验开始和结束时间
- 鼠标在实验名称上将浮层展示具体信息:实验描述、实验类型、实验层等信息
(2) 点击左侧箭头,将展示和查询结果相关的实验组信息:实验组名称,实验组ID,实验组命中人数,流量比例
(3) 查询id命中数:当前查询id中,与本实验命中的数量(多组将去重)
- 鼠标在实验组数值上将浮层展示命中用户明细数据:用户id,命中次数,首次命中时间,最新命中时间
(4) 点击最近一次操作:实验放量(开始时间为准),实验暂停,实验关闭(结束时间为准),实验开启,实验恢复(开始时间为准),点击后可展示当前实验日志信息。
(5) 结果中的id命中数下提示了各组均等的结果提示,便于用户快速定位。
- 点击提示可查看id命中数计算公式
- 实验中任意实验组结果为不均等,实验则为不均等
- 过滤对照组时,对照组不计算在内;反之需要加入计算。
(6)点击【下载数据】支持将查询结果导出
- 导出格式为csv
- 可导出两张表格
- 实验数据(实验ID,实验名称,实验查询id命中数,实验人数,实验流量,实验owner,实验起止时间,实验最近一次操作,实验生效方式)
- 实验组数据(实验ID,实验名称,实验组名称,实验组id,命中人数,流量,实验查询id命中数 )