在A/B测试之前,你需要先接入应用、明确实验类型,再设计实验,最后在火山引擎A/B测试中创建实验。
A/B测试支持客户端、Web端、服务端等多种接入方式。请参考以下文档,根据需接入的应用类型,完成SDK的接入、数据和分流服务的接入。
数据接入工作一般由研发人员完成,您可通过查看SDK接入概述了解如何进行接入,也可通过下方直接查看各客户端和服务端的数据集成说明。
客户端SDK
服务端SDK
你需要先明确客户端实验和服务端实验,再选择具体的实验类别。
服务端实验,指通过服务端获取实验分组信息并控制配置生效或下发的实验。
适用场景:
服务端实验有:
客户端实验,指通过客户端获取实验分组信息并控制配置生效的实验。
适用场景:
客户端实验有:
设计 A/B 实验之前,先准备以下信息:
除此之外,你还需要确定实验名称、实验类型以及预估的实验时长。
实验基本信息 | |
---|---|
实验名称 | 注册页面注册按钮文案测试 |
实验描述(问题、目标和假设) | 问题:注册页面转化率不够高 |
实验类型 | 客户端实验 |
实验时长 | 14 天 |
明确实验基本信息后,你需要确定一个决定实验成败的核心指标,和在实验过程中同时需要监测的必看指标。
更多指标定义,详见实验指标列表。
确定好关注指标后,需要设置实验对照版本和实验版本的参数细节。在只有2个实验版本前提下,允许两个实验组的参数组合取值相同,即开启AA实验。
实验参数:对实验业务策略、功能的配置化映射。实验参数决定了每个实验分组生效什么策略,因此在创建实验的时候需要配置实验参数。
对照版本:一般来说,对照组采取线上原始策略。
实验组:采取新策略。
参数值:为实验组和对照组确定的参数值,被划分到这一组的用户的行为会带上这个参数值的标识。
示例:业务为了提高相关推荐的效果,针对相关推荐设计了一种新的召回策略。
原策略:基于内容的协同过滤
新策略:基于用户的协同过滤
则在开发中约定策略的配置化映射关系如下:
collaborative_filtering="content" ——表示基于内容的协同过滤 collaborative_filtering="user" ——表示基于用户的协同过滤
最后,你需要确定实验整体所需的流量比例及每个实验组的流量权重(通常是均匀分配),并判断实验是否要加入一个互斥组。
所占流量比例:本次实验所占整体进组的流量比例。
互斥组:也叫互斥层、实验层。 互斥组中的所有实验不会共享用户,如果一个用户/设备进入了实验A,就不会进入该互斥组中的其他实验。
开启实验后,如果用户无法进入实验,可查看以下信息解决。更多详情,参见实验诊断工具。
原因 | 详细解释 |
---|---|
实验状态为关闭 | 该实验已关闭,任何用户都无法命中实验。 |
互斥层命中规则 | 白名单用户,命中同层其它实验。 |
不属于流量区间 | 该用户分流结果不属于该实验的流量区间,当前实验分配总流量为<实验赋予流量百分比>,该用户属于剩余流量空间。 |
实验状态为暂停 | 该实验当时处于暂停状态时,该用户虽然属于流量区间,但无法命中。 |
实验状态为预览/调试 | 该实验当时处于调试状态,该用户非白名单用户,无法命中。 |
实验状态为冻结 | 该实验当时处于冻结状态,该用户冻结前未曝光实验,虽然属于流量区间,但无法命中。 |
流量过滤条件不符合 | 该用户不满足受众过滤条件,无法命中。 |
未命中多链接实验 | 该用户请求URL未命中多链接实验目标URL。 |