多变体可视化实验（简称MVT，全称Multi-variate Visual Test）是同时AB实验一个网页的两个或更多元素的变体，以查看哪个组合产生最好的结果。本文为您介绍多变体可视化实验的操作要点。

• 元素（Element）：页面中的元素，针对页面中的多个Element元素做实验。
• 变体（variant）： 元素中的修改，元素进行修改内容和样式保存之后就是变体。
• 组合（combination）： 组合即实验组，一个元素下有多个变体，一个变体下有同一个元素不同修改，元素中不同的变体相互交叉组成的一个版本。例如，如果正在对3个Element进行测试，每个Element分别有2，3，4个变体，每个变体下都有不同的元素修改内容和样式，则一共有24种组合 (2x3x4)。

MVT比较适用于如下场景：

• 当web网站/H5/APP访问量较高时，运行多变体实验才比较有用且有效。
• 当用户有一个策略假设可以通过多种方式实现变体，但无法决定该测试哪种组合时，建议使用多变体实验验证。

在实验列表页点击“+创建实验”，选择多变体可视化实验，进入实验创建流程。

step1 输入基本信息

step2 选择生效策略

• 流量设置

  参数	配置说明
  是否互斥	当您需要开展多个AB实验时，您需要根据实验情况配置当前创建的实验是否需要与其他实验互斥，来避免同一个用户被分配进入了两个会相互影响的实验，从而影响AB实验结果。 例如，您要同时做按钮颜色和按钮形状的实验，这两个实验彼此影响，就需要将这两个实验加入到一个互斥组中。 了解更多流量层相关内容及如何创建流量层可查看：流量层与互斥域。
  实验流量	生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）进行流量预估，看设置多少流量合适，详见：流量计算器。 说明 实验流量的预估时，通常需要结合实验的业务指标与MDE（检验灵敏度）来进行估算，通常实验指标为提升/降低xx（某个业务指标值），那MDE建议以小于这个指标值来进行估算，尽量避免MDE取值较大，无法检测出真实的实验结果。
  流量生效方式	支持「立即生效」和「平滑生效」两种生效方式。 平滑生效会在设置的时间内把流量生效到设定的大小，例如实验流量设置成30%，平滑生效时间设置成30min，则会按照每分钟生效1%的进度线性生效。平滑生效更多说明可以查看文档：实验流量平滑生效。

• 用户受众规则
  您可以创建多个筛选组，筛选组间为“或”的逻辑关系；每个筛选组内可设置多个过滤条件，过滤条件间为“且”的逻辑关系。
  
  每个筛选组的配置详细指导如下。

  过滤条件	配置说明
  添加且条件	对于客户端实验，单击添加过滤条件后，您可以使用用户属性作为用户受众的过滤条件，支持使用系统提供的预置属性，也可创建自定义属性进行过滤。 您可以在数据管理>元数据管理>用户属性页面查看已有的预置属性和自定义属性，或您也可以创建新的自定义属性。 场景示例：新用户实验 在「选择目标受众」过滤器中，可以针对新用户添加“用户首次安装时间”过滤条件，使用首次安装时间识别新用户，即首次安装时间晚于实验开启时间的所有用户被划入“新用户”范畴。在实验开启期间，只有新用户进实验组中，其他存量用户不进组。
  添加分群	对于客户端实验，单击添加分群后，您可以使用已创建的用户分群来过滤用户。创建用户分群的操作详情请参见用户分群。

• 体验一致性
  开启后，实验期间用户生效版本不随流量、受众条件调整发生变化，可以保障在实验期间，同一个用户只进入一个实验版本。开启后，用户只要进过当前实验版本（除非暂停，关闭实验），就不再出实验。

step3 配置实验版本

• 测试用户命中条件：
  选择测试用户命中对应的实验版本时，是否需满足上一个步骤中设置的受众规则。由于测试用户主要用于实验正式开启前的调试验证，测试用户的选择可以与最终实验命中用户不一致，您可以根据实际需要进行配置。

• URL匹配规则
  
  URL匹配规则只决定用户访问的url是否可以命中实验，可以匹配即表示可以命中实验，不匹配即表示无法命中实验。用户命中实验的具体哪个版本是分流服务来决定的。在不同的url匹配方式下，我们关注到访的url是否可以成功匹配实验版本的url即可。URL地址只支持https协议，不支持http协议。具体如下：
  1）简单匹配
  在url进行匹配时，简单匹配会忽略url中的查询参数和锚点，在用户访问页面的url域名和路径匹配的情况即可命中实验。 例如，实验的目标url为https://app.test.com/path?param=a#frag1，则当用户访问以下url时，匹配情况如表中所示：

  | | | | \
  |序号 |到访url |是否匹配 |
  |---|---|---|
  | | | | \
  |1 |[https://app.test.com/path](http://app.test.com/?utm_source=5&utm_medium=sembaidu&userid=23) |匹配 |
  | | | | \
  |2 |[https://app.test.com/path?param=](http://app.test.com/?param1=origina&utm_mediue=sembaidu&userid=23)a |匹配 |
  | | | | \
  |3 |[https://app.test.com/path?param=a#frag1](https://app.test.com/path?param=a#frag1) |匹配 |
  | | | | \
  |4 |[https://app.test.com/path?param=b](https://app.test.com/path?param=b) |匹配 |
  | | | | \
  |5 |[https://app.test.com/path?param=b#frag2](https://app.test.com/path?param=b#frag2) |匹配 |
  | | | | \
  |10 |[https://test.com](https://test.com/) |不匹配 |
  | | | | \
  |11 |[https://app.test.com/path1](https://app.test.com/path1) |不匹配 |
  | | | | \
  |12 |[https://docs.test.com/path?param=a#frag1](https://docs.test.com/path?param=a#frag1) |不匹配 |
  | | | | \
  |13 |[https://docs.test.com/path/index.php](https://docs.test.com/path/index.php) |不匹配 |
  
  注释：
  * **匹配** ：指的是用户所访问的url在「简单匹配」模式下，可以匹配上实验版本的url，即访问这个页面的用户可以命中MVT实验。
  * **不匹配** ：指的是用户所访问的url在「简单匹配」模式下，不能匹配上实验版本的url，即访问这个页面的用户无法命中MVT实验。
  

  2）精准匹配
  即完全匹配，只有用户访问页面的url完全匹配实验页面url时，才会命中实验。 例如实验的目标url为https://app.test.com/path?param=a#frag1，则在精准匹配下，只有用户访问https://app.test.com/path?param=a#frag1时，才会命中实验。适用于用户需要排除带参数的页面，且明确知道页面url的场景。

• 配置实验URL并进入可视化编辑器
  用户输入URL后点击「进入可视化编辑器」后，基于原页面打开可视化编辑器
  
  

  	产品示例图	操作项说明
  新增变体		元素配置入口在可视化编辑器的右上角，有Tooltip提示，可进行拖拽
  新增变体入口1		入口1：选择元素（元素1） => 修改字体颜色 => 点击「新增变体」按钮 => 展示选择的变体X => 元素配置看板展示变体X
  新增变体入口2		入口2：选择元素配置看板 => 选择元素X或者原始变体 => 编辑修改 => 点击「新增变体」按钮 => 展示选择的变体X => 元素配置看板展示变体X
  修改变体		选择变体的时候，左侧看板联动，显示当前对应的元素和变体，便于用户更直观的编辑。 修改入口： 已经创建了变体 => 选择元素配置看板 => 选择元素X或者元素X的原始变体 => 编辑修改 => 点击「保存修改」按钮 => 展示选择的变体X => 元素配置看板展示变体X 对于同一个属性进行编辑修改，会更新之前的属性配置（如左图1） 对于不同属性进行编辑修改，会新增属性配置（如左图2）
  删除变体/重命名变体/复制变体		可进行删除变体/重命名变体/复制变体
  实验版本数量		一个元素，至少一个原始变体，然后可以有多个变体X，变体数量不做限制 可以有多个元素，元素的数量不做限制。 实验版本的个数 = A * B * C * ... * N 举个例子： 选择修改了3个元素，第1个元素有3个变体，第2个元素有2个变体，第3个元素有2个变体。 实验版本数 = 第1个元素有3个变体 * 第2个元素有2个变体 * 第3个元素有2个变体 实验版本数 12 = 3 * 2 * 2
  生成版本		点击「生成版本」之后，回到实验版本第三步。

• 配置实验版本信息：生成元素设置和版本组合
  包括元素设置+版本组合的预览。
  
  

step4 实验指标

实验指标可以衡量实验成功与否，实验开始后，在实验报告页面可以看到关注指标在实验版本和对照版本的对比，在这一步，需要选择实验关注指标。

调试、开启、停止实验

实验创建完成后，您可以在A/B测试>实验列表中查看已创建的实验，并查看实验状态。

• 调试中：新创建完成的实验，实验状态为调试中，此阶段您可以邀请已添加为测试用户的用户进行实验测试，确认实验符合预期。
• 进行中：实验调试完毕后，您可以在实验列表页点击“启动”，即可开启实验。实验开始后，实验的状态变为进行中，此时进组用户可实时查看，指标置信度第二日产出。
• 已结束：实验开始后，当实验时长到达创建实验时配置的实验时长后，实验会自动停止；如果没有到达实验时长，您希望立即停止实验，也可在实验列表手动停止实验。停止实验后，实验状态变为已结束。

实验开启后，您也可以在实验列表中，通过实验操作入口点击进入实验报告页面，查看实验报告，详情请参见实验报告概述。