DataTester为您提供可视化实验，支持通过可视化编辑器进行界面化的操作，无需编码即可创建不同实验版本，通过分流和用户实际反馈来探究不同版本的页面效果最佳，从而确定哪个版本的页面更能吸引用户，提高转化率和用户留存率。本文为您介绍可视化实验的操作要点。
- 可视化实验最大的优势在于无需编码、快速实验，降低产品和运营的使用成本，支持通过所见即所得的可视化编辑器进行可视化操作，比如编辑元素和属性，新增widgets组件，删除元素等，形成不同实验版本。
- 多页面可视化实验：在一个版本中可以包含多个页面，适用于优化前后有关联的多个页面。
创建可视化实验的操作示例如下。
限制/前提条件 | 说明 |
|---|---|
页面传输协议限制 | 页面传输协议需使用HTTPS（Hypertext Transfer Protocol Secure：超文本传输安全协议）。 |
页面浏览器建议 | 建议使用最新版Chrome浏览器。 |
支持的实验类型 |
|
前提条件 |
|
可视化实验适用于落地页、主页等单页面+多页面的场景。AB可视化实验的使用场景包括：
- 界面设计优化：通过对比不同版本的界面设计，确定哪个版本更能吸引用户，提高用户留存率和转化率。
- 内容优化：通过对比不同版本的内容，确定哪个版本更能吸引用户，提高用户留存率和转化率。
- 功能优化：通过对比不同版本的功能，确定哪个版本更能满足用户需求，提高用户留存率和转化率。
- 营销策略优化：通过对比不同版本的营销策略，确定哪个版本更能吸引用户，提高用户留存率和转化率。
在实验列表页点击“+创建实验”，选择可视化实验，进入实验创建流程，参考以下步骤配置实验的详细信息。
step1 输入基本信息
实验基本信息相关参数主要用于标识实验、明确实验类型等，配置详情如下。
参数 | 配置说明 |
|---|---|
实验名称&实验描述 |
|
实验标签 | 您可以在下拉框中选择已存在的实验标签，也可直接输入新标签。 |
实验类型 | 当前可视化实验仅支持客户端实验。 |
实验时长 | 指实验开启的时长，一般为了避免不同时间段（工作日与周末）的用户行为差异，建议至少观察 2 个完整的实验周期。 |
实验负责人 | 默认为实验创建者。 |
step2 设置生效策略
生效策略相关参数主要用于设置后续开启AB实验后，哪些用户会进入A实验、哪些用户会进入B实验，通过科学的实验流量分配，实现参与实验的用户量充足，且实验间彼此间不干扰效果可信。
注意
进行实验流量设置前，您需要先了解实验流量的一些基本概念：
- 流量&受众用户&实验流量：
- 流量：指产品所拥有的总体用户数量。
- 受众用户：在总体用户中，通过一些过滤条件圈选出来的用于参与AB实验的所有用户。
- 实验流量：在受众用户中，参与某个AB实验的用户数占比。
- 流量层/实验层/互斥组/互斥层&互斥实验：
- 流量层，也称互斥组，也称互斥层、实验层。
- 互斥实验，即处在同一流量层中的实验。互斥实验之间流量是互斥的，即互斥组中的所有实验都不会共享用户：如果一个用户命中了互斥组中的实验1，就不会命中该互斥组中的其他实验。
流量设置
参数
配置说明
是否互斥
当您需要开展多个AB实验时，您需要根据实验情况配置当前创建的实验是否需要与其他实验互斥，来避免同一个用户被分配进入了两个会相互影响的实验，从而影响AB实验结果。
例如，您要同时做按钮颜色和按钮形状的实验，这两个实验彼此影响，就需要将这两个实验加入到一个互斥组中。
了解更多流量层相关内容及如何创建流量层可查看：流量层与互斥域。实验流量
生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）进行流量预估，看设置多少流量合适，详见：流量计算器。
说明
实验流量的预估时，通常需要结合实验的业务指标与MDE（检验灵敏度）来进行估算，通常实验指标为提升/降低xx（某个业务指标值），那MDE建议以小于这个指标值来进行估算，尽量避免MDE取值较大，无法检测出真实的实验结果。
流量生效方式
支持「立即生效」和「平滑生效」两种生效方式。
平滑生效会在设置的时间内把流量生效到设定的大小，例如实验流量设置成30%，平滑生效时间设置成30min，则会按照每分钟生效1%的进度线性生效。平滑生效更多说明可以查看文档：实验流量平滑生效。用户受众规则
您可以创建多个筛选组，筛选组间为“或”的逻辑关系；每个筛选组内可设置多个过滤条件，过滤条件间为“且”的逻辑关系。
每个筛选组的配置详细指导如下。过滤条件
配置说明
添加且条件
对于客户端实验，单击添加过滤条件后，您可以使用用户属性作为用户受众的过滤条件，支持使用系统提供的预置属性，也可创建自定义属性进行过滤。
您可以在数据管理>元数据管理>用户属性页面查看已有的预置属性和自定义属性，或您也可以创建新的自定义属性。
场景示例：新用户实验
在「选择目标受众」过滤器中，可以针对新用户添加“用户首次安装时间”过滤条件，使用首次安装时间识别新用户，即首次安装时间晚于实验开启时间的所有用户被划入“新用户”范畴。在实验开启期间，只有新用户进实验组中，其他存量用户不进组。添加分群
对于客户端实验，单击添加分群后，您可以使用已创建的用户分群来过滤用户。创建用户分群的操作详情请参见用户分群。
体验一致性
开启后，实验期间用户生效版本不随流量、受众条件调整发生变化，可以保障在实验期间，同一个用户只进入一个实验版本。开启后，用户只要进过当前实验版本（除非暂停，关闭实验），就不再出实验。
step3 配置实验版本
注意
在配置实验版本前，您需要先了解实验版本的一些基本概念：
- 实验版本&实验组&对照组
AB实验通常为一组对照实验：实验版本、对照版本。通过对实验版本和对照版本分别设置不同的逻辑策略，保持其他条件稳定的情况下验证哪种策略更优。对照版本一般是当前的策略，实验版本一般是我们想要尝试的新策略。 - 测试用户&用户标识：SSID和UUID
- 测试用户：在实验正式开启之前，通常需要先选择几名用户来进行测试，观察实验是否能够正常获取想要收集的数据、测试加入实验逻辑后业务功能是否有bug等。参与测试的测试用户也被称为“白名单用户”。在配置实验版本时您需要为实验组和对照组分别添加测试用户。
- SSID：即标准化服务ID（Standardized Service Id），是火山引擎增长营销套件系列产品用来标记和识别用户而提供的用户标识。SSID由系统自动生成和维护，您可以根据需要使用。为实验版本添加测试用户时，通过系统生成的SSID来标识参与测试的用户。
- UUID：即User Unique Id，通常是产品业务中使用的用户标识，一般与用户的登录id（如手机号、email等）一一对应，UUID由您来维护。
测试用户命中条件
选择测试用户命中对应的实验版本时，是否需满足上一个步骤中设置的受众规则。由于测试用户主要用于实验正式开启前的调试验证，测试用户的选择可以与最终实验命中用户不一致，您可以根据实际需要进行配置。热力图
支持开启页面热力图，如果您希望后续在待实验的页面上同时可以看到热力图数据，可打开此处的热力图开关，并提前在集成数据接入SDK时打开全埋点功能开关。热力图分析功能介绍详见 热力图分析。配置URL规则
配置用户访问的URL命中实验的规则逻辑，可以匹配规则的URL即表示可以命中实验，不匹配即表示无法命中实验。说明
此处配置的URL规则关注的是到访的URL是否可以成功匹配实验；后续实验开启后，用户命中实验的具体哪个版本是DataTester的分流服务来决定的。
匹配规则
规则说明
简单匹配
在URL进行匹配时，简单匹配会忽略URL中的查询参数和锚点，在用户访问页面的URL域名和路径匹配的情况即可命中实验。
例如，实验的目标URL为https://app.test.com/path?param=a#frag1，则当用户访问以下URL时，匹配情况如表中所示：
精准匹配
即完全匹配，只有用户访问页面的URL完全匹配实验页面URL时，才会命中实验。例如实验的目标URL为
https://app.test.com/path?param=a#frag1，则在精准匹配下，只有用户访问https://app.test.com/path?param=a#frag1时，才会命中实验。适用于用户需要排除带参数的页面，且明确知道页面URL的场景。可视化编辑
首次使用时，需根据界面提示下载并安装可视化编辑器，操作详情请参见下文的参考：安装可视化编辑器。
安装完成后，可点击某个实验版本的「进入可视化编辑器」，即可进入可视化编辑页面，您可在页面中通过可视化编辑器对页面进行编辑操作，完成后将页面保存为一个实验版本，主要编辑操作如下表所示，更多可视化编辑器介绍请参见可视化编辑器。模块
子项
产品示例图
操作说明
顶部导航栏
/
- 支持查看操作记录：鼠标hover操作记录的元素，可查看修改人、修改日期、修改详情信息。
- 支持切换宽度，如全屏宽度、平板电脑、移动端、自定义宽度。
- 支持切换“预览模式、编辑模式”，支持切换“实验版本”,“实验页面”。
- 支持对操作进行“撤销、重做、保存”。
- 支持查看圈选事件详情。
内容
字体排版
- 支持对字号、颜色、文本内容、加粗/倾斜、对齐方式等属性进行编辑
样式
尺寸、布局、背景
尺寸支持元素尺寸相关CSS样式编辑
事件
圈选事件
针对「按钮」、「链接」、「图片」、「文本」类型的元素提供圈选事件能力。
- 在编辑栏下，点击事件，新增事件名称；
- 保存后新建指标：点击新建指标，会弹出指标新建页面。
HTML新增元素
/
支持通过HTML代码的方式新增元素。
（1）格式化 （2）换行和取消换行 （3）HTML代码格式校验 （4）手动输入标签，自动闭合标签 （5）优化默认初始化示例代码添加页面（多页面可视化实验）
- 点击【添加页面】，可在一个版本中添加多个页面，可对每个页面单独进行编辑。
注：页面顺序不会影响用户浏览页面体验。举例，假如用户首先看到的是页面2，然后再看到的是页面1，用户仍然会看到同一实验版本的页面1。 - 多页面编辑：可在左上角切换至不同页面进行可视化编辑，具体可操作项同可视化编辑操作说明 。
- 删除：点击删除标识可删除该页面，删除页面后无法恢复。
- 点击【添加页面】，可在一个版本中添加多个页面，可对每个页面单独进行编辑。
流量分配
后续实验开启后，所有参与AB实验的实验流量中，不同实验版本之间分配的实验流量比例。- 流量均匀分配-开启：默认为开启状态，开启状态下为强制各实验版本流量均匀分配。
- 流量均匀分配-关闭：关闭后可调配对照版本和实验版本的流量相对占比。 可通过输入数值，来控制每个实验版本命中的用户比例。
例如，当关闭均匀分配后，三个实验版本，可配置对照版本占比20%，实验版本1占比为50%，实验版本2占比为30%，整体总和为100%，实验版本3即自动分20%流量。
说明
各实验版本流量权重变更后，历史进组用户不会受到影响，只会影响已分配但未进组的用户，以及未分配的用户。
step4 实验指标
实验指标用于评估各实验版本的策略效果，辅助决策进行AB实验的功能是否能符合业务预期。通过配置实验核心指标和实验关注指标，后续实验完成后，会根据您配置的指标为您自动输出指标相关的实验报告，辅助您分析实验结果。
参数 | 配置说明 |
|---|---|
实验核心指标配置 |
|
实验关注指标配置 | 对需要关注的指标进行配置。您可以在页面的下拉列表中选择需要关注的指标，也可以在页面单击新建指标或移除指标按钮，快速调整需要关注的指标。 |
置信水平 | 置信水平（也称置信度、置信系数、统计显著性），是指实验组与对照组之间存在真正性能差异的概率。 |
实验创建完成后，您可以在A/B测试>实验列表中查看已创建的实验，并查看实验状态。
- 调试中：新创建完成的实验，实验状态为调试中，此阶段您可以邀请已添加为测试用户的用户进行实验测试，确认实验符合预期。
- 进行中：实验调试完毕后，您可以在实验列表页点击“启动”，即可开启实验。实验开始后，实验的状态变为进行中，此时进组用户可实时查看，指标置信度第二日产出。
- 已结束：实验开始后，当实验时长到达创建实验时配置的实验时长后，实验会自动停止；如果没有到达实验时长，您希望立即停止实验，也可在实验列表手动停止实验。停止实验后，实验状态变为已结束。
实验开启后，您也可以在实验列表中，通过实验操作入口点击进入实验报告页面，查看实验报告，详情请参见实验报告概述。
可视化编辑器的详细介绍请参见可视化编辑器，创建可视化实验时，当未安装chrome扩展的时候，点击进入编辑器，会弹窗提示用户安装扩展，点击「添加扩展」的链接，跳转到chrome 对应扩展的详情页。
当安装了chrome扩展的时候，点击进入编辑器，会打开目标页面。