了解如何设计实验之前,请先阅读:A/B实验怎么开
以下通过一个场景示例为大家展示如何分析、拆解一个业务问题,设定优化方向、评价指标并设计一个A/B实验来进行效果验证。
说明
实验的来源:通过分析当前业务问题、提出潜在的解决方案,形成一个「实验idea」
背景:该产品是一个汽车类App产品,发现App登录率偏低,通过转化漏斗定位问题为触发登录率过低,影响个性化服务的机会。
根据上面的分析,一个比较自然的想法,就是去提升触发登录率,也就是给未登录用户增加更多的登录入口。那么就面临两个问题:
针对第一个问题,需要定位目前未登录用户的主要流量去向,在这些主要的流量场加入登录入口,效果是最好的。现有未登录可使用的功能,包括但不限于:关注、点赞、进入直播间、保存发布草稿、查看浏览历史等。通过用户路径对未登录用户的行为路径进行分析发现关注、点赞、查看历史等场景流量较多,可以尝试在这些环节加入登录引导。
说明
目标:明确「实验idea」最终想达成的业务目标是什么,根据目标来制定衡量指标
衡量指标:用于评价目标是否达成的成功标准。且需要论证是因为施加了实验策略而达成的,因此指标和策略要有明确的业务因果性
至此,就形成了完整的 「实验假设」:预期通过xxx改进,可对指标A提升n%,从而为产品/用户带来xxxx价值。
目标:在不影响未登录用户使用体验的前提下,提升登录率,更好地为服务用户
衡量指标:登录率
实验假设: 通过在每个入口尝试不同的引导方式,可对指标「登录率」提升n%,从而好的服务用户。
当下主流的登录引导由弱到强有:非阻断式弹窗/蒙层引导、半屏/全屏面板引导、全屏面板强制登录。针对不同入口,可以实验不同的登录引导方式。
实验模式 | 客户端编程实验 |
---|---|
实验受众 | 全体用户,不做任何过滤 |
流量大小 | 根据样本量计算器计算可得,不同产品、业务形态差异巨大,保险起见在单组数量级过万 |
实验时长 | 14天及以上 |
实验版本 | 对照组:线上样式 |
实验组:新样式 | |
监控指标 | 核心指标:登录率 |
关注指标:登录触发、登录提交、登录成功三个环节的转化率 | |
评估思路 |
|