创建MAB智能调优实验--A/B测试-火山引擎

文档中心

导航

创建MAB智能调优实验

最近更新时间：2024.12.04 17:21:14首次发布时间：2023.04.17 21:03:03

智能调优实验是一种序贯地评估实验数据表现，并自适应的将流量倾斜给效果更好的实验版本的实验类型。其中自适应评估与调优的算法主要是 MAB(Multi-Armed Bandit) 。本文为您介绍DataTester的MAB智能调优实验应用场景和创建要点。

应用场景

传统AB的弊端

传统A/B实验依赖于统计显著性的经典假设检验，为对照版本和实验版本分配相应的流量，但一般不允许在实验期间变更每个子版本的流量。因此该类实验有几个弊端，一是需要专门的给常规实验预留一定的周期（至少7天），对于一些时间比较紧急的需求，很难满足这样苛刻的条件；二是必须要有足够的样本进入到实验中，才能得出显著的结果。

智能调优实验的应用场景和优势

实验目的：指标收益最高，实验成本最小

场景	智能调优实验	A/B实验
高价值流量：丢失转化的机会成本较高，例如在线销售大额商品（汽车、钻石等），每个失去的转化都会造成几千/几万块的损失。	动态调整流量，根据实验结果及时找出当前效果比较好的版本，将转化效果差的版本降低流量，减少损失	目标是获得统计上显著的方案：在时间、机会成本允许的情况下，AB实验能更快的获得稳健的、在统计上显著的获胜方案，虽然在过程中会损失一些转化。
活动周期短：比如很多电商活动的整个周期就一两天，如果传统AB的方法一般需要7天以上，活动没法提供足够的时间进行A/B实验	MAB的核心目标是整个活动最优，并不是帮助客户找到最优组，对实验时限没有要求	需要足够的时间，一般至少7天以上，排除时间变量
优化目标实效性强：例如头条新闻的标题、缩略图、视频内容等的优化测试，需要在短的窗口期内获得最大点击量。	MAB可以周期性查询各版本的转化效果，且调优频率可以自定义设置，目前最短能达到半小时	实时性较弱：需要等到实验时间结束或者流量用尽之后产出统计结果
持续优化：可以在MAB优化过程中，随时在变体中增加或减少多个元素，比如开启界面MAB时，可以调整界面上被测试的元素	MAB对流量/实验变体没有严格要求，可以在调优过程中切换实验流量以及实验变体的元素	需要进行深度数据分析，AB实验收集的数据更适合在实验时或实验后进行数据的多维分析，来查看不同细分人群对于测试的变量有何反映。对MAB来说，表现不好的组可能没有足够的数据进行这些。
小流量：对于初创公司或者活动冷启动时期，可能没有足够的流量进行实验	MAB会基于当下指标表现动态的分配，所以原则上来说MAB过程更能在总流量不多的情况下将流量收益最大化（注：本质是一种在流量较少的情况下优化收益的妥协性方案，不代表可以比AB实验使用更少的流量达到相同的效果）	想要从所有变体（特别是较差变体）中吸取一些教训：AB实验一定程度上能够保证每个变体都有足够的流量来统计以及计算置信度，如果想衡量较差变体的糟糕程度，从而指导业务决策，请选择AB实验。

说明

如果既要拿整体流量收益，又要决策方案优劣，Tester 将在后续版本提供 MAB 与AB 实验混合的整体解决方案。

注意事项与前提条件

细分	注意事项详述
版本要求	当前仅A/B测试旗舰版支持MAB智能调优实验，如果您希望使用MAB智能调优实验进行实验分析，请确保您已购买A/B测试旗舰版。
MAB调优生效限制	创建MAB调优实验后，如果实验过程中，用户进组人数和指标需同时达到以下条件才能正常进行实验调优，否则无法开启实验调优：用户进组人数要求：每个实验组进组人数超1000人。指标要求：转化类指标：每个实验组的进组人数中，有调优指标行为的用户数超20人。人均类指标：每个实验组中，人均类指标值大于0。说明私有化版本490开始支持人均类指标，例如，pv/au、sum/au。您可以在实验报告中查看相关数据是否符合限制要求：进组人数、指标值可直接在报告中展示。转化类指标的转化率*进组人数即为有指标行为的用户数。
准备工作	创建MAB智能调优实验前，您需确保管理员与研发已完成对应的准备工作，包括集团的配置、应用添加。完成准备工作后，运营人员即可参考以下操作步骤创建实验。

细分

注意事项详述

版本要求

当前仅A/B测试旗舰版支持MAB智能调优实验，如果您希望使用MAB智能调优实验进行实验分析，请确保您已购买A/B测试旗舰版。

MAB调优生效限制

创建MAB调优实验后，如果实验过程中，用户进组人数和指标需同时达到以下条件才能正常进行实验调优，否则无法开启实验调优：

用户进组人数要求：每个实验组进组人数超1000人。
指标要求：
- 转化类指标：每个实验组的进组人数中，有调优指标行为的用户数超20人。
- 人均类指标：每个实验组中，人均类指标值大于0。

说明

私有化版本490开始支持人均类指标，例如，pv/au、sum/au。
您可以在实验报告中查看相关数据是否符合限制要求：
- 进组人数、指标值可直接在报告中展示。
- 转化类指标的转化率*进组人数即为有指标行为的用户数。

准备工作

创建MAB智能调优实验前，您需确保管理员与研发已完成对应的准备工作，包括集团的配置、应用添加。完成准备工作后，运营人员即可参考以下操作步骤创建实验。

操作演示

创建智能调优实验

登录并进入A/B测试应用页面后，在页面左侧导航栏选择智能优化 > 智能动态调优，进入调优列表后单击右上角的智能调优按钮，进入创建智能调优实验页面。

step1 输入基本信息

参数	配置说明
调优名称&调优描述	调优名称：调优名称建议取与调优内容相关的名称，如有实验版本迭代可以增加版本号后缀，让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。调优描述：调优内容简述，可以让项目相关人员更清晰地知道到这个调优是如何做的，解决什么问题，同时也便于后期查看和管理历史调优时一目了然。
调优场景	有【落地页优化】和【APP小程序优化】。选择【落地页优化】，会有两种调优方式，分别为「可视化调优」和「多链接调优」。选择【APP小程序优化】，则会调起「客户端调优」和「服务端调优」两种方式。
调优方向与指标	此处只能选择一个核心指标，智能调优只关注实验者最关心指标的提升比率，最终实验报告也是围绕该指标设计的。注意调优指标不能带常数项，需要选取反馈较快的指标，例如是否点击、在小时粒度内是否转化等。对于隔天才有转化的转化率指标，当前版本的算法基本会失效。对于需要较长时间（例如超过2个及以上个调优周期）才有反馈的指标，无法及时获得效果数据来调整流量，故不建议作为调优指标。（当前只支持点击率、转化率类指标；人均点击次数、浏览时长等下一次迭代提供）
调优时长	默认7天，上限为60天。
实验负责人	默认为实验创建者。

step2 设置生效策略

参数	配置说明
参与调优的流量	控制参与调优的总流量，系统默认100%。
流量生效方式	支持「立即生效」和「平滑生效」两种生效方式。平滑生效会在设置的时间内把流量生效到设定的大小，例如实验流量设置成30%，平滑生效时间设置成30min，则会按照每分钟生效1%的进度线性生效。平滑生效更多说明可以查看文档：实验流量平滑生效。
用户受众规则	您可以创建多个筛选组，筛选组间为“或”的逻辑关系；每个筛选组内可设置多个过滤条件，过滤条件间为“且”的逻辑关系。
体验一致性	进组不出组，保证参与调优的用户，每次进入到同一个实验版本中。
调优设置	持用户设定调优的频率，目前可设置的范围是[0.5h, 24h]。

step3 配置实验版本

此处实验版本的配置取决于实验第一步中【输入基本信息】中的调优场景和调优方式的设定：

调优场景	调优方式	实验版本配置参考
落地页优化	可视化调优	可视化实验-配置实验版本
落地页优化	多链接调优	多链接实验-配置实验版本
APP小程序优化	客户端调优/服务端调优	编程实验-配置实验版本

调试、开启、停止实验

实验创建完成后，您可以在A/B测试>实验列表中查看已创建的实验，并查看实验状态。

调试中：新创建完成的实验，实验状态为调试中，此阶段您可以邀请已添加为测试用户的用户进行实验测试，确认实验符合预期。
进行中：实验调试完毕后，您可以在实验列表页点击“启动”，即可开启实验。实验开始后，实验的状态变为进行中，此时进组用户可实时查看，指标置信度第二日产出。
已结束：实验开始后，当实验时长到达创建实验时配置的实验时长后，实验会自动停止；如果没有到达实验时长，您希望立即停止实验，也可在实验列表手动停止实验。停止实验后，实验状态变为已结束。

查看实验报告

实验开启后，您也可以在实验列表中，通过实验操作入口点击进入实验报告页面，查看实验报告，详情请参见：MAB报告综述。