DataTester为您提供多链接实验,也称为Split url实验,支持用户根据分流结果访问不同版本的页面URL。本文为您介绍多链接使用的应用场景和操作要点。
多链接实验支持用户根据分流结果访问不同版本的页面URL,举个例子:
https://example.com/1.html
和 https://example.com/2.html
,想要对比这两个页面的转化效果。https://example.com/1.html
设置为对照版本链接,https://example.com/2.html
设置为实验版本链接。https://example.com/1.html
时,有50%用户进入原始版本,其余50%用户会进入实验版本,跳转到 https://example.com/2.html
。https://example.com/2.html
将不会进入实验。限制/前提条件 | 说明 |
---|---|
支持的实验类型 |
|
前提条件 |
|
快速了解多链接实验创建流程👇
在实验列表页点击“+创建实验”,选择多链接实验,进入实验创建流程。
实验基本信息相关参数主要用于标识实验、明确实验类型等,配置详情如下。
参数 | 配置说明 |
---|---|
实验名称&实验描述 |
|
实验标签 | 您可以在下拉框中选择已存在的实验标签,也可直接输入新标签。 |
实验类型 | 当前可视化实验仅支持客户端实验。 |
实验时长 | 指实验开启的时长,一般为了避免不同时间段(工作日与周末)的用户行为差异,建议至少观察 2 个完整的实验周期。 |
实验负责人 | 默认为实验创建者。 |
生效策略相关参数主要用于设置后续开启AB实验后,哪些用户会进入A实验、哪些用户会进入B实验,通过科学的实验流量分配,实现参与实验的用户量充足,且实验间彼此间不干扰效果可信。
注意
进行实验流量设置前,您需要先了解实验流量的一些基本概念:
流量设
参数 | 配置说明 |
---|---|
是否互斥 | 当您需要开展多个AB实验时,您需要根据实验情况配置当前创建的实验是否需要与其他实验互斥,来避免同一个用户被分配进入了两个会相互影响的实验,从而影响AB实验结果。 |
实验流量 | 生效实验的用户占满足用户受众用户比例。系统默认为100%流量,您可以通过建议工具(点击流量计算器)进行流量预估,看设置多少流量合适,详见:流量计算器。 说明 实验流量的预估时,通常需要结合实验的业务指标与MDE(检验灵敏度)来进行估算,通常实验指标为提升/降低xx(某个业务指标值),那MDE建议以小于这个指标值来进行估算,尽量避免MDE取值较大,无法检测出真实的实验结果。 |
流量生效方式 | 支持「立即生效」和「平滑生效」两种生效方式。 |
用户受众规则
您可以创建多个筛选组,筛选组间为“或”的逻辑关系;每个筛选组内可设置多个过滤条件,过滤条件间为“且”的逻辑关系。
每个筛选组的配置详细指导如下。
过滤条件 | 配置说明 |
---|---|
添加且条件 | 对于客户端实验,单击添加过滤条件后,您可以使用用户属性作为用户受众的过滤条件,支持使用系统提供的预置属性,也可创建自定义属性进行过滤。 |
添加分群 | 对于客户端实验,单击添加分群后,您可以使用已创建的用户分群来过滤用户。创建用户分群的操作详情请参见用户分群。 |
体验一致性
开启后,实验期间用户生效版本不随流量、受众条件调整发生变化,可以保障在实验期间,同一个用户只进入一个实验版本。开启后,用户只要进过当前实验版本(除非暂停,关闭实验),就不再出实验。
注意
在配置实验版本前,您需要先了解实验版本的一些基本概念:
测试用户命中条件
选择测试用户命中对应的实验版本时,是否需满足上一个步骤中设置的受众规则。由于测试用户主要用于实验正式开启前的调试验证,测试用户的选择可以与最终实验命中用户不一致,您可以根据实际需要进行配置。
热力图
支持开启页面热力图,如果您希望后续在待实验的页面上同时可以看到热力图数据,可打开此处的热力图开关,并提前在集成数据接入SDK时打开全埋点功能开关。热力图分析功能介绍详见 热力图分析。
配置URL规则
配置用户访问的URL命中实验的规则逻辑,可以匹配规则的URL即表示可以命中实验,不匹配即表示无法命中实验。
匹配规则 | 规则说明 |
---|---|
简单匹配 | 在URL进行匹配时,简单匹配会忽略URL中的查询参数和锚点,在用户访问页面的URL域名和路径匹配的情况即可命中实验。
|
精准匹配 | URL精准匹配,即完全匹配,不会忽略网址的任何部分,且只有在完全匹配网址后,实验才会运行。当您需要排除带有参数的页面时,可使用「精准匹配」。 |
参数匹配 | 支持用户自定义页面的域名、路径以及参数。适用于在某些投放场景下,投放的渠道会随机增加参数的场景,在这种场景下,简单匹配无法区分让某些投放渠道,精准匹配无法提前预知具体的链接。 说明 「热力图」跟「URL参数匹配」功能无法同时开启,如需使用 「URL参数匹配」,请在热力图位置点击关闭。
|
重定向规则 & 实验版本
在多链接实验中,只需要根据实际场景配置对照版本及实验版本的URL即可,其中,对照版本是分流的基本URL。
说明
多链接实验中提供了「重定向时保留原始url的参数和锚点」选项,当用户勾选后,用户到访地址URL中的参数及锚点将会保留并与用户最终实际命中的版本中URL的参数和锚点合并,若参数值有冲突则会以填写的URL中的参数值及锚点值为准。
举个例子,用户勾选了「重定向时保留原始url的参数和锚点」则在 简单匹配 的情况下:
https://app.test.com?param1=origin#frag1
https://miniapp.test.com/path?param1=redirect#frag1
序号 | 到访url | 是否匹配 | 命中对照版本后,最终的url | 命中实验版本后,最终的url |
---|---|---|---|---|
1 |
| 匹配 |
|
|
2 |
| 匹配 |
|
|
3 |
| 匹配 |
|
|
4 |
| 匹配 |
|
|
5 |
| 不匹配 | -- | -- |
6 |
| 不匹配 | -- | -- |
7 |
| 不匹配 | -- | -- |
8 |
| 不匹配 | -- | -- |
9 |
| 不匹配 | -- | -- |
10 |
| 不匹配 | -- | -- |
实验指标用于评估各实验版本的策略效果,辅助决策进行AB实验的功能是否能符合业务预期。通过配置实验核心指标和实验关注指标,后续实验完成后,会根据您配置的指标为您自动输出指标相关的实验报告,辅助您分析实验结果。
参数 | 配置说明 |
---|---|
实验核心指标配置 |
|
实验关注指标配置 | 对需要关注的指标进行配置。您可以在页面的下拉列表中选择需要关注的指标,也可以在页面单击新建指标或移除指标按钮,快速调整需要关注的指标。 |
置信水平 | 置信水平(也称置信度、置信系数、统计显著性),是指实验组与对照组之间存在真正性能差异的概率。 |
实验创建完成后,您可以在A/B测试>实验列表中查看已创建的实验,并查看实验状态。
实验开启后,您也可以在实验列表中,通过实验操作入口点击进入实验报告页面,查看实验报告,详情请参见实验报告概述