实验创建后,实验协作者可使用DataTester提供的实验诊断工具,从实验角度出发,监控分析当前实验的分流和白名单服务是否正常,即查看目标实验用户是否正常命中对应的实验版本。本文为您介绍实验诊断工具的使用注意事项和操作指导。
说明
「已冻结」和「已暂停」状态的客户端实验可使用实验诊断工具查看在实验运行期间的命中情况。
如果您在AB实验中出现以下问题,均可使用命中诊断,排查出实验无法命中的详细原因。
在实验列表页,点击实验名称,随后点击“诊断”操作按钮,如下图所示:
进入当前实验的诊断工具页面后,您可以配置需要诊断的分流用户、时间窗口、实验版本信息,查询该用户在目标时间窗口内的请求分流情况和命中实验情况。
参数 | 配置说明 |
---|---|
分流用户 | 您可以从下拉选框选择已添加的用户测试白名单,或手工输入目标用户的ssid。 |
时间窗口 | 选择需要诊断的时间窗口,当前支持最长的回溯周期为近3个月。 |
实验版本 | 选择需要诊断的实验版本。 |
完成配置后,单击开始诊断,即可在页面下方查看诊断结果。
实验诊断结果为您展示时间窗口中,所有实验分流列表及每次分流请求的详细请求日志,并为您展示未命中的分析结果原因。您可以在实验诊断结果的右上方点击切换结果展示的方式,支持列表模式或时间线模式。
列表模式 | 时间线模式 |
---|---|
您可以查看每次分流请求的日志JSON详情,您可以结合给出的未命中原因,进一步查看日志中对应的请求参数,进一步明确未命中的解决方案。
序号 | 未命中原因 | 详细解释 |
---|---|---|
1 | 实验状态为关闭 | 该实验已关闭,任何用户都无法命中实验。 |
2 | 互斥层命中规则 | 白名单用户,命中同层其它实验。 |
3 | 不属于流量区间 | 该用户分流结果不属于该实验的流量区间,当前实验分配总流量为<实验赋予流量百分比>,该用户属于剩余流量空间。 |
4 | 实验状态为暂停 | 该实验当时处于暂停状态时,该用户虽然属于流量区间,但无法命中。 |
5 | 实验状态为预览/调试 | 该实验当时处于调试状态,该用户非白名单用户,无法命中。 |
6 | 实验状态为冻结 | 该实验当时处于冻结状态,该用户冻结前未曝光实验,虽然属于流量区间,但无法命中。 |
7 | 流量过滤条件不符合 | 该用户不满足受众过滤条件,无法命中。 |
8 | 未命中多链接实验 | 该用户请求URL未命中多链接实验目标URL。 |