概述
实验指标是根据命中实验的用户进行过滤计算的,由于客户端实验和服务端实验在端上分流触发和数据上报逻辑天然存在差异,所以在统计实验指标时判定「命中实验的用户(即进组用户)」方法也存在一些差异。为了实现客户端实验和服务端实验在判定「命中实验的用户」口径时逻辑保持一致,从而提升准确性,DataTester对实验进组用户判定逻辑进行了升级,本文档主要对此进行说明。
进组用户口径
前后对比
| 更新前
~2023年4月 | 更新后
2023年4月~ |
---|
客户端实验 | - 进组判定逻辑:某段时间内所有上报带ab_version事件的人
- 计算方式:客户端触发分流的时候同时上报ab_version事件,仅使用用户行为埋点日志计算实验指标
| 二者保持一致,服务端实验口径不变,客户端实验部分口径升级,完成统一 - 进组判定逻辑:实验开始后上报过曝光事件并且在某段时间内上报过事件的人
- 计算方式:统一使用用户行为埋点日志作为左表、AB分流日志AB_Log表作为右表进行join计算实验指标
【注】AB_Log表逻辑:使用实验曝光事件来记录用户命中实验的情况,支持实时和天级,天级离线数据会基于人+实验组(即ab_version)的粒度进行聚合
曝光事件统计依据: - 普通实验曝光字段:abtest_exposure
- 推送实验曝光字段:rangers_push_send
|
服务端实验 | - 进组判定逻辑:实验开始后上报过曝光事件并且在某段时间内上报过事件的人
- 计算方式:使用用户行为埋点日志作为左表、服务端记录进组曝光ab_version事件的表作为右表进行join计算实验指标
|