You need to enable JavaScript to run this app.
导航
多链接实验
最近更新时间:2024.11.20 19:26:25首次发布时间:2021.02.23 10:41:56

DataTester为您提供多链接实验,也称为Split url实验,支持用户根据分流结果访问不同版本的页面URL。本文为您介绍多链接使用的应用场景和操作要点。

功能概述

多链接实验支持用户根据分流结果访问不同版本的页面URL,举个例子:

  • 示例场景:当您有两个不同样式的落地页 https://example.com/1.htmlhttps://example.com/2.html,想要对比这两个页面的转化效果。
  • 多链接实验版本设置:可以选择将 https://example.com/1.html设置为对照版本链接,https://example.com/2.html 设置为实验版本链接。
  • 实验逻辑:
    • 实验开始运行后,将对照版本链接推送给用户。如果为两个版本各分配50%的流量,那么用户访问对照版本链接 https://example.com/1.html时,有50%用户进入原始版本,其余50%用户会进入实验版本,跳转到 https://example.com/2.html
    • 如果直接访问 https://example.com/2.html将不会进入实验。

前置条件及限制

限制/前提条件

说明

支持的实验类型

  • 可视化实验的实验类型为客户端实验。
  • 当前支持Web及H5页面

前提条件

  • 使用多链接实验前,需集成DataTester的数据接入SDK,详情请参见Web/JS SDK集成

应用场景
  • 市场同学对不同广告落地页进行测试,以期比对各落地页的转化率,选出优胜页面。
  • 运营同学对不同内容页进行测试,尤其是H5活动页,以期比对各活动页带来的转化情况,从而选出优胜活动页。
  • 产品同学对不同的注册流程页面进行测试,以期比对不同流程带来的用户注册流失率情况。

操作演示

快速了解多链接实验创建流程👇
Image

创建实验

在实验列表页点击“+创建实验”,选择多链接实验,进入实验创建流程。

step1 输入基本信息

实验基本信息相关参数主要用于标识实验、明确实验类型等,配置详情如下。
Image

参数

配置说明

实验名称&实验描述

  • 实验名称:建议设置为与实验内容相关的名称,如有实验版本迭代可以增加版本号后缀,让您的伙伴能够快速了解到实验是做什么的、在哪个迭代版本。
  • 实验描述 :实验内容简述,可以让项目相关人员更清晰地知道到这个实验是如何做的,解决什么问题,同时也便于后期查看和管理历史实验时一目了然。

实验标签

您可以在下拉框中选择已存在的实验标签,也可直接输入新标签。
一般采用业务线、优化方向等实验内容关键词作为标签,用于筛选、归类实验,后续实验创建完成后,在实验列表中可以通过实验标签快速搜索到相关实验。

实验类型

当前可视化实验仅支持客户端实验。

实验时长

指实验开启的时长,一般为了避免不同时间段(工作日与周末)的用户行为差异,建议至少观察 2 个完整的实验周期。
例如,考虑工作日与周末影响时,实验周期至少需要一周,那实验开启时长建议为14天。

实验负责人

默认为实验创建者。

step2 设置生效策略

生效策略相关参数主要用于设置后续开启AB实验后,哪些用户会进入A实验、哪些用户会进入B实验,通过科学的实验流量分配,实现参与实验的用户量充足,且实验间彼此间不干扰效果可信。

注意

进行实验流量设置前,您需要先了解实验流量的一些基本概念:

  • 流量&受众用户&实验流量
    • 流量:指产品所拥有的总体用户数量。
    • 受众用户:在总体用户中,通过一些过滤条件圈选出来的用于参与AB实验的所有用户。
    • 实验流量:在受众用户中,参与某个AB实验的用户数占比。
  • 流量层/实验层/互斥组/互斥层&互斥实验
    • 流量层,也称互斥组,也称互斥层、实验层。
    • 互斥实验,即处在同一流量层中的实验。互斥实验之间流量是互斥的,即互斥组中的所有实验都不会共享用户:如果一个用户命中了互斥组中的实验1,就不会命中该互斥组中的其他实验。

Image

  • 流量设

    参数

    配置说明

    是否互斥

    当您需要开展多个AB实验时,您需要根据实验情况配置当前创建的实验是否需要与其他实验互斥,来避免同一个用户被分配进入了两个会相互影响的实验,从而影响AB实验结果。
    例如,您要同时做按钮颜色和按钮形状的实验,这两个实验彼此影响,就需要将这两个实验加入到一个互斥组中。
    了解更多流量层相关内容及如何创建流量层可查看:流量层与互斥域

    实验流量

    生效实验的用户占满足用户受众用户比例。系统默认为100%流量,您可以通过建议工具(点击流量计算器)进行流量预估,看设置多少流量合适,详见:流量计算器

    说明

    实验流量的预估时,通常需要结合实验的业务指标与MDE(检验灵敏度)来进行估算,通常实验指标为提升/降低xx(某个业务指标值),那MDE建议以小于这个指标值来进行估算,尽量避免MDE取值较大,无法检测出真实的实验结果。

    流量生效方式

    支持「立即生效」和「平滑生效」两种生效方式。
    平滑生效会在设置的时间内把流量生效到设定的大小,例如实验流量设置成30%,平滑生效时间设置成30min,则会按照每分钟生效1%的进度线性生效。平滑生效更多说明可以查看文档:实验流量平滑生效

  • 用户受众规则
    您可以创建多个筛选组,筛选组间为“或”的逻辑关系;每个筛选组内可设置多个过滤条件,过滤条件间为“且”的逻辑关系。
    Image
    每个筛选组的配置详细指导如下。

    过滤条件

    配置说明

    添加且条件

    对于客户端实验,单击添加过滤条件后,您可以使用用户属性作为用户受众的过滤条件,支持使用系统提供的预置属性,也可创建自定义属性进行过滤。
    Image
    您可以在数据管理>元数据管理>用户属性页面查看已有的预置属性和自定义属性,或您也可以创建新的自定义属性。
    场景示例:新用户实验
    在「选择目标受众」过滤器中,可以针对新用户添加“用户首次安装时间”过滤条件,使用首次安装时间识别新用户,即首次安装时间晚于实验开启时间的所有用户被划入“新用户”范畴。在实验开启期间,只有新用户进实验组中,其他存量用户不进组。
    Image

    添加分群

    对于客户端实验,单击添加分群后,您可以使用已创建的用户分群来过滤用户。创建用户分群的操作详情请参见用户分群

  • 体验一致性
    开启后,实验期间用户生效版本不随流量、受众条件调整发生变化,可以保障在实验期间,同一个用户只进入一个实验版本。开启后,用户只要进过当前实验版本(除非暂停,关闭实验),就不再出实验。

step3 配置实验版本

注意

在配置实验版本前,您需要先了解实验版本的一些基本概念:

  • 实验版本&实验组&对照组
    AB实验通常为一组对照实验:实验版本对照版本。通过对实验版本和对照版本分别设置不同的逻辑策略,保持其他条件稳定的情况下验证哪种策略更优。对照版本一般是当前的策略,实验版本一般是我们想要尝试的新策略。
  • 测试用户&用户标识SSIDUUID
    • 测试用户:在实验正式开启之前,通常需要先选择几名用户来进行测试,观察实验是否能够正常获取想要收集的数据、测试加入实验逻辑后业务功能是否有bug等。参与测试的测试用户也被称为“白名单用户”。在配置实验版本时您需要为实验组和对照组分别添加测试用户。
    • SSID:即标准化服务ID(Standardized Service Id),是火山引擎增长营销套件系列产品用来标记和识别用户而提供的用户标识。SSID由系统自动生成和维护,您可以根据需要使用。为实验版本添加测试用户时,通过系统生成的SSID来标识参与测试的用户。
    • UUID:即User Unique Id,通常是产品业务中使用的用户标识,一般与用户的登录id(如手机号、email等)一一对应,UUID由您来维护。

Image

  • 测试用户命中条件
    选择测试用户命中对应的实验版本时,是否需满足上一个步骤中设置的受众规则。由于测试用户主要用于实验正式开启前的调试验证,测试用户的选择可以与最终实验命中用户不一致,您可以根据实际需要进行配置。

  • 热力图
    支持开启页面热力图,如果您希望后续在待实验的页面上同时可以看到热力图数据,可打开此处的热力图开关,并提前在集成数据接入SDK时打开全埋点功能开关。热力图分析功能介绍详见 热力图分析

  • 配置URL规则
    配置用户访问的URL命中实验的规则逻辑,可以匹配规则的URL即表示可以命中实验,不匹配即表示无法命中实验。

    匹配规则

    规则说明

    简单匹配

    在URL进行匹配时,简单匹配会忽略URL中的查询参数和锚点,在用户访问页面的URL域名和路径匹配的情况即可命中实验。

    • 简单匹配会忽略网址中的以下部分:
      • 查询参数
      • 哈希或锚标记
      • url中是否存在www
    • url简单匹配会对比以下部分:
      • 子域名
      • 子目录
      • 文件扩展名(.html,.php等)

    精准匹配

    URL精准匹配,即完全匹配,不会忽略网址的任何部分,且只有在完全匹配网址后,实验才会运行。当您需要排除带有参数的页面时,可使用「精准匹配」。

    参数匹配

    支持用户自定义页面的域名、路径以及参数。适用于在某些投放场景下,投放的渠道会随机增加参数的场景,在这种场景下,简单匹配无法区分让某些投放渠道,精准匹配无法提前预知具体的链接。

    说明

    「热力图」跟「URL参数匹配」功能无法同时开启,如需使用 「URL参数匹配」,请在热力图位置点击关闭。

    Image

    • 用户输入域名为:https://www.volcengine.com
    • 路径为:/docs/search
    • 参数为:q 包含 【aaa】 【bbb】、c 等于 【111】 【222】
    • 则当用户访问以下url时,匹配情况如表中所示:
      Image
  • 重定向规则 & 实验版本
    在多链接实验中,只需要根据实际场景配置对照版本及实验版本的URL即可,其中,对照版本是分流的基本URL。

    说明

    • 此处填写的URL及URL匹配方式是决定用户访问的页面是否可以命中实验的依据,命中实验后会访问到哪个版本是分流服务决定的。

    多链接实验中提供了「重定向时保留原始url的参数和锚点」选项,当用户勾选后,用户到访地址URL中的参数及锚点将会保留并与用户最终实际命中的版本中URL的参数和锚点合并,若参数值有冲突则会以填写的URL中的参数值及锚点值为准。
    举个例子,用户勾选了「重定向时保留原始url的参数和锚点」则在 简单匹配 的情况下:

    • 对照版本URL为: https://app.test.com?param1=origin#frag1
    • 实验版本URL为: https://miniapp.test.com/path?param1=redirect#frag1
      则重定向结果如下表:

    序号

    到访url

    是否匹配

    命中对照版本后,最终的url

    命中实验版本后,最终的url

    1

    https://app.test.com

    匹配

    https://app.test.com?param1=origin#frag1

    https://miniapp.test.com/path?param1=redirect#frag1

    2

    https://app.test.com?utm_source=5&utm_medium=sembaidu&userid=23

    匹配

    https://app.test.com?utm_source=5&utm_medium=sembaidu&userid=23&param1=origin#frag1

    https://miniapp.test.com/path?utm_source=5&utm_medium=sembaidu&userid=23&param1=redirect#frag1

    3

    https://app.test.com/#AKYlHl

    匹配

    https://app.test.com?param1=origin#frag1

    https://miniapp.test.com/path?param1=redirect#frag1

    4

    https://app.test.com/?param1=origin&utm_medium=sembaidu&userid=23#frag2

    匹配

    https://app.test.com?param1=origin&utm_medium=sembaidu&userid=23#frag1

    https://miniapp.test.com/path?param1=redirect&utm_medium=sembaidu&userid=23#frag1

    5

    https://test.com

    不匹配

    --

    --

    6

    https://miniapp.test.com

    不匹配

    --

    --

    7

    https://app.test.com/index.php

    不匹配

    --

    --

    8

    https://app.test.com/subdirector

    不匹配

    --

    --

    9

    https://docs.app.test.com/

    不匹配

    --

    --

    10

    https://docs.test.com/

    不匹配

    --

    --

step4 实验指标

实验指标用于评估各实验版本的策略效果,辅助决策进行AB实验的功能是否能符合业务预期。通过配置实验核心指标和实验关注指标,后续实验完成后,会根据您配置的指标为您自动输出指标相关的实验报告,辅助您分析实验结果。
Image

参数

配置说明

实验核心指标配置

  • 核心指标配置
    用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」,您可以在下拉框中,在已有的指标组中选择指标作为实验的核心指标,建议合理的进行实验设计,谨慎选择,更多关于实验指标设置的经验指导请查看确定评估指标

    说明

    实验指标配置好后,后续实验创建完成后,如果如有特殊情况需要修改实验指标,请进入实验详情页进行修改。

  • 监控报警:可选择目标指标点击“监控报警”,填写具体需要的报警策略,选择是否勾选“效果显著”,以及选择报警策略的生效方式。
  • 编辑指标:点击图例中3位置处可进入指标编辑页面,对可指标进行名称、指标类型、是否设为必看指标等进行编辑。

实验关注指标配置

对需要关注的指标进行配置。您可以在页面的下拉列表中选择需要关注的指标,也可以在页面单击新建指标移除指标按钮,快速调整需要关注的指标。

置信水平

置信水平(也称置信度、置信系数、统计显著性),是指实验组与对照组之间存在真正性能差异的概率。
例如在置信水平是95%的情况下,如果某个实验指标的置信度p值<0.05,则说明这个指标相比对照组,是有显著(超过置信水平)差异的。 如需设置置信水平参数值,则需联系集团管理员或应用管理员,前往“系统管理-置信水平设置”进行设置。

调试、开启、停止实验

实验创建完成后,您可以在A/B测试>实验列表中查看已创建的实验,并查看实验状态。
Image

  • 调试中:新创建完成的实验,实验状态为调试中,此阶段您可以邀请已添加为测试用户的用户进行实验测试,确认实验符合预期。
  • 进行中:实验调试完毕后,您可以在实验列表页点击“启动”,即可开启实验。实验开始后,实验的状态变为进行中,此时进组用户可实时查看,指标置信度第二日产出。
  • 已结束:实验开始后,当实验时长到达创建实验时配置的实验时长后,实验会自动停止;如果没有到达实验时长,您希望立即停止实验,也可在实验列表手动停止实验。停止实验后,实验状态变为已结束

查看实验报告

实验开启后,您也可以在实验列表中,通过实验操作入口点击进入实验报告页面,查看实验报告,详情请参见实验报告概述