DataTester支持创建客群实验,适用于有对比不同圈选人群需求的营销场景,来帮助业务运营人员在不同场景下选择更加匹配的人群,优化营销触达和转化效率。本文为您介绍客群实验的操作流程和注意要点。
客群实验分流原理
客群实验的分流过程与通用的AB实验分流流程类似,在通用流程基础之上增加了客群实验的判断,并在接到分流请求或返回客群ID。概要流程和客群实验的分群特殊点如下,通用的分群流程详情请参见分流原理:分流流程图。
客群实验与通用的分流流程,区别点主要在:
- 规则过滤上:当实验层命中实验后,需判断该实验是否是客群实验,若是则走单独的客群规则过滤,命中后需判断根据hash分桶随机进入一个客群,并带上该客群ID。
- 上报曝光事件上:若是命中的是客群实验,上报该曝光事件上时,带上custom属性:客群ID。
使用限制
客群实验只支持私有化部署的编程实验-服务端实验。
- 私有化4.9.0版本开始,如果您还同时购买了CDP,您还可以使用客群对比来配置用户受众规则。
- 私有化4.9.2版本开始,客群实验支持选择DataFinder的用户分群,且实验开启后,支持以客群维度展示实验结果。
准备工作
(可选)数据接入
您需要在创建实验前,根据实验设计,先完成实验所需指标数据埋点接入,数据接入的详细操作详情可参见:数据接入概述。
创建用户分群
您需要先创建好用户分群。当前不同版本支持选择的用户分群能力不一致。
- 私有化4.9.0版本开始,支持选择CDP上已创建的用户分群,您需要根据实验需要,在CDP中先创建好用户分群。
- 私有化4.9.2版本开始,客群实验支持选择DataFinder的用户分群,且实验开启后,支持以客群维度展示实验结果。您需要根据实验需要,在DataFinder中先创建好用户分群。
创建客群实验
在实验列表页点击“+创建实验”,选择编程实验,进入实验创建流程,客群实验的配置要点如下,其他配置操作与普通编程实验的配置一致,详情请参见编程实验文档。
- 配置基础信息。客群实验的实验类型需选择服务端。
- 配置生效策略。其中,受众规则可选择客群对比,添加客群并选择已创建好的用户分群。
- 配置实验版本与实验指标操作与普通编程实验一致,可参考编程实验操作文档完成实验创建。
调试并开启实验
实验创建完成后,可进行调试,无问题后即可开启实验。
查看实验报告
如果您已完成数据接入的准工作,在实验开启后并在线下开始推广后,陆续会有各推广渠道产生的用户数据上报到DataTester,您可以通过实验报告查看实验版本的指标结果。
实验详情页面 | 实验报告页面 | 数据指标/高级分析页面 |
---|
- 您可以在实验详情页面查看客群实验的客群配置详情。
- 如上图所示,客群实验配置了两个客群:测试、测试1。
| - 实验报告页面中除了基于实验版本给出了实验结论外,也结合实验版本+客群同步给出实验结果。
- 在数据概览部分,为您展示了每个实验版本中,每个客群的优胜概率;以及每个客群中每个实验版本的优胜概率。
- 同时还提供了更为专业的方差分析表,便于您进行深度数据分析。
| - 您可以在数据指标/高级分析页面中查看各实验版本的每个客群下指标数据。
- 指标数据的口径、解读方式与普通A/B实验类似,详情可参见普通A/B实验的报告解读文档。
|
更多客群实验特殊指标和报告解读请参见报告解读:客群实验。