实验创建后,实验协作者可使用DataTester提供的实验诊断工具,从实验角度出发,监查看目标实验测试用户是否正常命中对应的实验版本,如果没有命中可根据诊断原因进一步优化排查。本文为您介绍实验命中诊断工具的使用注意事项和操作指导。
说明
「已冻结」和「已暂停」状态的客户端实验可使用实验诊断工具查看在实验运行期间的命中情况。
如果您在AB实验中出现以下问题,均可使用命中诊断,排查出实验无法命中的详细原因。
在实验列表页,点击实验名称,随后点击“诊断”操作按钮,如下图所示:
进入当前实验的诊断工具页面后,您可以配置需要诊断的分流用户、时间窗口、实验版本信息,查询该用户在目标时间窗口内的请求分流情况和命中实验情况。
参数 | 配置说明 |
---|---|
测试用户ID | 您可以手工输入目标用户的ssid。 |
预期命中实验ID | 您可以手动输入实验ID,您可以在实验详情的页面URL中获取到对应的实验ID。 |
选择回放时间 | 选择需要回放诊断的时间窗口,当前支持最长的回溯周期为近3个月。 |
完成配置后,单击开始诊断,即可在页面下方查看诊断结果。
实验诊断结果为您展示时间窗口中,所有实验分流列表及每次分流请求的详细请求日志,并为您展示未命中的分析结果原因。您可以在实验诊断结果的右上方点击切换结果展示的方式,支持列表模式或时间线模式。
列表模式 | 时间线模式 |
---|---|
您可以查看每次分流请求的日志JSON详情,您可以结合给出的未命中原因,进一步查看日志中对应的请求参数,进一步明确未命中的解决方案。
序号 | 未命中原因 | 详细解释 |
---|---|---|
1 | 实验状态为关闭 | 该实验已关闭,任何用户都无法命中实验。 |
2 | 互斥层命中规则 | 白名单用户,命中同层其它实验。 |
3 | 不属于流量区间 | 该用户分流结果不属于该实验的流量区间,当前实验分配总流量为<实验赋予流量百分比>,该用户属于剩余流量空间。 |
4 | 实验状态为暂停 | 该实验当时处于暂停状态时,该用户虽然属于流量区间,但无法命中。 |
5 | 实验状态为预览/调试 | 该实验当时处于调试状态,该用户非白名单用户,无法命中。 |
6 | 实验状态为冻结 | 该实验当时处于冻结状态,该用户冻结前未曝光实验,虽然属于流量区间,但无法命中。 |
7 | 流量过滤条件不符合 | 该用户不满足受众过滤条件,无法命中。 |
8 | 未命中多链接实验 | 该用户请求URL未命中多链接实验目标URL。 |