You need to enable JavaScript to run this app.
导航
实验诊断工具
最近更新时间:2024.07.15 16:13:35首次发布时间:2023.06.09 16:02:40

实验创建后,实验协作者可使用DataTester提供的实验诊断工具,从实验角度出发,监控分析当前实验的分流和白名单服务是否正常,即查看目标实验用户是否正常命中对应的实验版本。本文为您介绍实验诊断工具的使用注意事项和操作指导。

注意事项
  • 时间限制:实验诊断时,最多支持回溯的时间周期为3个月,即您最多可诊断近三个月实验的命中情况。
  • 实验类型:当前只有「调试中」、「运行中」、「已冻结」和「已暂停」状态的客户端实验,可使用实验诊断工具。

    说明

    已冻结」和「已暂停」状态的客户端实验可使用实验诊断工具查看在实验运行期间的命中情况。

  • 权限相关:拥有实验「分析人员」权限的用户,可以从实验角度进行诊断分析,查看某些用户在某个时间段内,针对某个实验版本(或不选定实验版本)是否命中实验,以及未命中的原因分析。

应用场景

如果您在AB实验中出现以下问题,均可使用命中诊断,排查出实验无法命中的详细原因。

  • 为什么我的测试机明明填了白名单,但是没生效?
  • 实验已经开始了,我已经把实验版本的流量权重调到90%,为什么测试机还没命中实验版本?
  • 实验开始有一阵子了,但是进组用户数不太符合预期,是不是分流出了问题?

操作指导

实验诊断入口

在实验列表页,点击实验名称,随后点击“诊断”操作按钮,如下图所示:
图片

实验诊断配置

进入当前实验的诊断工具页面后,您可以配置需要诊断的分流用户、时间窗口、实验版本信息,查询该用户在目标时间窗口内的请求分流情况和命中实验情况。

参数

配置说明

分流用户

您可以从下拉选框选择已添加的用户测试白名单,或手工输入目标用户的ssid。

时间窗口

选择需要诊断的时间窗口,当前支持最长的回溯周期为近3个月。

实验版本

选择需要诊断的实验版本。

完成配置后,单击开始诊断,即可在页面下方查看诊断结果。

实验诊断结果

实验诊断结果为您展示时间窗口中,所有实验分流列表及每次分流请求的详细请求日志,并为您展示未命中的分析结果原因。您可以在实验诊断结果的右上方点击切换结果展示的方式,支持列表模式时间线模式

列表模式

时间线模式

图片

图片

您可以查看每次分流请求的日志JSON详情,您可以结合给出的未命中原因,进一步查看日志中对应的请求参数,进一步明确未命中的解决方案。

参考:未命中原因详细说明

序号

未命中原因

详细解释

1

实验状态为关闭

该实验已关闭,任何用户都无法命中实验。

2

互斥层命中规则

白名单用户,命中同层其它实验。

3

不属于流量区间

该用户分流结果不属于该实验的流量区间,当前实验分配总流量为<实验赋予流量百分比>,该用户属于剩余流量空间。

4

实验状态为暂停

该实验当时处于暂停状态时,该用户虽然属于流量区间,但无法命中。

5

实验状态为预览/调试

该实验当时处于调试状态,该用户非白名单用户,无法命中。

6

实验状态为冻结

该实验当时处于冻结状态,该用户冻结前未曝光实验,虽然属于流量区间,但无法命中。

7

流量过滤条件不符合

该用户不满足受众过滤条件,无法命中。
eg.该用户“操作系统=Windows”,不满足过滤条件“操作系统=MAC/Android”,无法命中。

8

未命中多链接实验

该用户请求URL未命中多链接实验目标URL。