多变体可视化实验--A/B测试-火山引擎

文档中心

立即注册

导航

多变体可视化实验

最近更新时间：2024.07.18 19:02:17首次发布时间：2022.11.20 11:07:43

一. 概述

多变体可视化实验（简称MVT，全称Multi-variate Visual Test）是同时AB实验一个网页的两个或更多元素的变体，以查看哪个组合产生最好的结果。
相关术语

元素（Element）：页面中的元素，针对页面中的多个Element元素做实验。
变体（variant）：元素中的修改，元素进行修改内容和样式保存之后就是变体。
组合（combination）：组合即实验组，一个元素下有多个变体，一个变体下有同一个元素不同修改，元素中不同的变体相互交叉组成的一个版本。例如，如果正在对3个Element进行测试，每个Element分别有2，3，4个变体，每个变体下都有不同的元素修改内容和样式，则一共有24种组合 (2x3x4)。

前置条件及限制 ：

目前MVT支持在Web及H5页面开启。
用于创建MVT的页面需要接入「A/B 测试」的Web/H5/WAP SDK。
页面传输协议需使用HTTPS（Hypertext Transfer Protocol Secure：超文本传输安全协议）。

实验类型 ： MVT类型为客户端实验。
浏览器建议： 主流的浏览器均可支持；iOS系统自带Safari浏览器支持iOS10及以上版本(若系统版本较低请升级到iOS10及以上)。建议使用最新版Chrome及Windows Edge。

二. 应用场景

MVT比较适用于如下场景：

当web网站/H5/APP访问量较高时，运行多变体实验才比较有用且有效。
当用户有一个策略假设可以通过多种方式实现变体，但无法决定该测试哪种组合时，建议使用多变体实验验证。

三. 操作演示

四. 操作说明

4.1 创建实验

在实验列表页点击“+创建实验”，选择多变体可视化实验，进入实验创建流程：

4.1.1 输入基本信息

产品示例图	操作项说明
	实验名称：实验名称建议取与实验内容相关的名称，如有实验版本迭代可以增加版本号后缀，让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。实验描述：实验内容简述，可以让项目相关人员更清晰地知道到这个实验是如何做的，解决什么问题，同时也便于后期查看和管理历史实验时一目了然。实验类型：客户端实验（可视化实验只有客户端实验）实验时长：指实验开启的时间，一般为了避免工作日与周末的用户行为差异，至少观察 2 个完整周(14天) 实验标签：可以给实验打上自定义或者通用标签，用于筛选、归类实验。实验负责人：默认为实验创建者。

产品示例图

操作项说明

实验名称 ：实验名称建议取与实验内容相关的名称，如有实验版本迭代可以增加版本号后缀，让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。
实验描述 ：实验内容简述，可以让项目相关人员更清晰地知道到这个实验是如何做的，解决什么问题，同时也便于后期查看和管理历史实验时一目了然。
实验类型 ：客户端实验（可视化实验只有客户端实验）
实验时长 ：指实验开启的时间，一般为了避免工作日与周末的用户行为差异，至少观察 2 个完整周(14天)
实验标签：可以给实验打上自定义或者通用标签，用于筛选、归类实验。
实验负责人：默认为实验创建者。

4.1.2 选择生效策略

产品示例图	操作项说明
	是否互斥：当前实验是否需要与其他实验互斥来避免同一个用户进入两个会相互影响的实验时可以选择手动创建。例如，你要同时做按钮颜色和按钮形状的实验，就需要将两个实验加入到一个互斥组列表。了解更多互斥组相关内容及如何创建互斥组可查看：互斥组实验流量：生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）来看设置多少流量合适。详见：实验流量建议工具用户受众规则：通过请求参数、用户分群等来圈选你的实验是面向哪些用户生效的。体验一致性：保障同一个用户只进入一个实验版本。开启后，用户只要进过当前实验版本(除非暂停，关闭实验)，就不再出实验。各实验版本流量权重变更后，历史进组用户不会受到影响，只会影响已分配但未进组的用户，以及未分配的用户。

产品示例图

操作项说明

是否互斥：当前实验是否需要与其他实验互斥来避免同一个用户进入两个会相互影响的实验时可以选择手动创建。例如，你要同时做按钮颜色和按钮形状的实验，就需要将两个实验加入到一个互斥组列表。了解更多互斥组相关内容及如何创建互斥组可查看：互斥组
实验流量：生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）来看设置多少流量合适。详见：实验流量建议工具
用户受众规则：通过请求参数、用户分群等来圈选你的实验是面向哪些用户生效的。
体验一致性：保障同一个用户只进入一个实验版本。开启后，用户只要进过当前实验版本(除非暂停，关闭实验)，就不再出实验。各实验版本流量权重变更后，历史进组用户不会受到影响，只会影响已分配但未进组的用户，以及未分配的用户。

4.1.3 配置实验版本

URL匹配规则

URL匹配规则只决定用户访问的url是否可以命中实验，可以匹配即表示可以命中实验，不匹配即表示无法命中实验。用户命中实验的具体哪个版本是分流服务来决定的。在不同的url匹配方式下，我们关注到访的url是否可以成功匹配实验版本的url即可。URL地址只支持https协议，不支持http协议。具体如下：
1）简单匹配
在url进行匹配时，简单匹配会忽略url中的查询参数和锚点，在用户访问页面的url域名和路径匹配的情况即可命中实验。例如，实验的目标url为https://app.test.com/path?param=a#frag1，则当用户访问以下url时，匹配情况如表中所示：

序号	到访url	是否匹配
1	https://app.test.com/path	匹配
2	https://app.test.com/path?param=a	匹配
3	https://app.test.com/path?param=a#frag1	匹配
4	https://app.test.com/path?param=b	匹配
5	https://app.test.com/path?param=b#frag2	匹配
10	https://test.com	不匹配
11	https://app.test.com/path1	不匹配
12	https://docs.test.com/path?param=a#frag1	不匹配
13	https://docs.test.com/path/index.php	不匹配

注释：

匹配：指的是用户所访问的url在「简单匹配」模式下，可以匹配上实验版本的url，即访问这个页面的用户可以命中MVT实验。
不匹配 ：指的是用户所访问的url在「简单匹配」模式下，不能匹配上实验版本的url，即访问这个页面的用户无法命中MVT实验。

2）精准匹配
即完全匹配，只有用户访问页面的url完全匹配实验页面url时，才会命中实验。例如实验的目标url为https://app.test.com/path?param=a#frag1，则在精准匹配下，只有用户访问https://app.test.com/path?param=a#frag1时，才会命中实验。适用于用户需要排除带参数的页面，且明确知道页面url的场景。

进入可视化编辑器

用户输入URL后点击「进入可视化编辑器」后，基于原页面打开可视化编辑器

	产品示例图	操作项说明
新增变体		元素配置入口在可视化编辑器的右上角，有Tooltip提示，可进行拖拽
新增变体入口1		入口1：选择元素（元素1） => 修改字体颜色 => 点击「新增变体」按钮 => 展示选择的变体X => 元素配置看板展示变体X
新增变体入口2		入口2：选择元素配置看板 => 选择元素X或者原始变体 => 编辑修改 => 点击「新增变体」按钮 => 展示选择的变体X => 元素配置看板展示变体X
修改变体		选择变体的时候，左侧看板联动，显示当前对应的元素和变体，便于用户更直观的编辑。修改入口：已经创建了变体 => 选择元素配置看板 => 选择元素X或者元素X的原始变体 => 编辑修改 => 点击「保存修改」按钮 => 展示选择的变体X => 元素配置看板展示变体X 对于同一个属性进行编辑修改，会更新之前的属性配置（如左图1）对于不同属性进行编辑修改，会新增属性配置（如左图2）
删除变体/重命名变体/复制变体		可进行删除变体/重命名变体/复制变体
实验版本数量		一个元素，至少一个原始变体，然后可以有多个变体X，变体数量不做限制可以有多个元素，元素的数量不做限制。实验版本的个数 = A * B * C * ... * N 举个例子：选择修改了3个元素，第1个元素有3个变体，第2个元素有2个变体，第3个元素有2个变体。实验版本数 = 第1个元素有3个变体 * 第2个元素有2个变体 * 第3个元素有2个变体实验版本数 12 = 3 * 2 * 2
生成版本		点击「生成版本」之后，回到实验版本第三步。

生成元素设置和版本组合

包括元素设置+版本组合的预览。

4.1.4 实验指标

实验指标可以衡量实验成功与否，实验开始后，在实验报告页面可以看到关注指标在实验版本和对照版本的对比，在这一步，需要选择实验关注指标。

产品示例图	操作项说明
	核心指标配置：用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」，建议合理的进行实验设计，谨慎选择（如有特殊情况需要修改请进入实验详情页进行修改）。更多查看确定评估指标。监控报警：可选择目标指标点击“监控报警”，填写具体需要的报警策略，选择是否勾选“效果显著”，以及选择报警策略的生效方式。编辑指标：点击图例中3位置处可进入指标编辑页面，对可指标进行名称、指标类型、是否设为必看指标等进行编辑。关注指标配置：对需要关注的指标进行配置。移除指标：移除指标，则在实验报告看不到该指标的数据。新建指标：可新建一个需要查看的指标。置信水平：置信水平（也称置信度、置信系数、统计显著性），是指实验组与对照组之间存在真正性能差异的概率。例如在置信水平是95%的情况下，如果某个实验指标的置信度p值<0.05，则说明这个指标相比对照组，是有显著(超过置信水平)差异的。如需设置置信水平参数值，则需联系集团管理员或应用管理员，前往“系统管理-置信水平设置”进行设置。

产品示例图

操作项说明

核心指标配置：用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」，建议合理的进行实验设计，谨慎选择（如有特殊情况需要修改请进入实验详情页进行修改）。更多查看确定评估指标。
监控报警：可选择目标指标点击“监控报警”，填写具体需要的报警策略，选择是否勾选“效果显著”，以及选择报警策略的生效方式。
编辑指标：点击图例中3位置处可进入指标编辑页面，对可指标进行名称、指标类型、是否设为必看指标等进行编辑。
关注指标配置：对需要关注的指标进行配置。
移除指标：移除指标，则在实验报告看不到该指标的数据。
新建指标：可新建一个需要查看的指标。
置信水平：置信水平（也称置信度、置信系数、统计显著性），是指实验组与对照组之间存在真正性能差异的概率。例如在置信水平是95%的情况下，如果某个实验指标的置信度p值<0.05，则说明这个指标相比对照组，是有显著(超过置信水平)差异的。如需设置置信水平参数值，则需联系集团管理员或应用管理员，前往“系统管理-置信水平设置”进行设置。

4.2 开启实验

实验调试完毕，在实验列表页点击“启动”，即可开启实验。实验开始后，进组用户可实时查看，指标置信度第二日产出。