一、概述
通过「优化计划」来定义和管理业务优化目标,帮助你更好的、设计实验、跟踪效果
| 定义 | 使用场景 |
---|
优化计划 | 可准确定义、衡量的一个业务发展目标/产品优化计划,包含 - 介绍业务背景、描述该方向的优化计划
- 明确可以用哪些指标衡量效果
| 通过BI报表、UBA分析工具、用户洞察、用户调研等方式发现了数据问题,即可定义一个优化计划
如:提升直播营收、提升新用户登陆率 |
子目标 | 完成优化计划的路径很多,一个子目标是衡量一种达成方式的衡量标准 - 优化计划和子目标是1:n的关系
- 对不同子目标给出衡量指标成功判定标准
| 有了优化计划之后,可以拆解为多个子目标来实施优化、运行实验
如:针对「提升新用户登陆率」,我们可以制定: - 子目标1:新用户红包活动促登陆(预期+20%)
- 子目标2:优化登陆按钮文案(预期+2%)
- 子目标3:增加登陆页呼出入口(预期+5%)
|
优化计划、子目标和实验的关联关系如下图所示:
二、如何使用
功能入口
- 从「实验管理」->「优化计划」即可访问,进入优化计划列表页,支持按状态过滤、按计划的名称、描述进行搜索,列表分为3个模块:
- 我负责的:负责人包含我的优化计划
- 与我共享:合作方包含我的优化计划
- 其他计划:与我无关的优化计划,但仍可以查看和参考
- 优化计划有3种状态,并按以下顺序展示
- 推进中:创建完成即进入该状态
- 已完成:所有子目标都有结论(达成目标、基本达成、未达成),即已完成,
- 已终止:点击终止按钮后即已终止,已完成的计划不能操作终止
创建优化计划
- 点击「创建优化计划」即可进入新建页,分为两步
- 1)定义业务优化计划:名称、描述、负责人、合作方、衡量指标。
- 2)添加子目标:名称、定义指标达成标准。其中「核心指标」将成为该子目标关联实验的核心指标,系统将以此指标来自动判定子目标是否达成
优化计划详情
整体指标监控
- 通过数据看板展示优化计划衡量指标在全DAU下的变化趋势
- 指标:默认展示成功指标,支持切换
- 时间区间:默认展示最近一周数据,支持修改
- 过滤条件:支持进行维度过滤和多维拆解
为子目标创建/绑定实验
- 点击「创建实验」即可自动跳转到实验创建流程,并将子目标的核心指标、非核心指标、其他关注指标进行自动预填。实验创建完成后将会自动关联至子目标对应绑定实验列表
- 点击「绑定实验」即可呼出实验选择弹窗,仅支持绑定与该子目标的核心指标一致的实验,但若实验核心指标发生修改则会自动解除绑定
新增子目标
- 点击「创建子目标」后,即可针对已有优化计划新增子目标,一个优化计划可以包含多个子目标,没有数量限制
监控子目标完成情况
说明
关联实验开启7天后,DataTester对实验数据进行检测,生成优胜实验组、指标等数据结果。
- 每个子目标以卡片形式呈现,包含以下信息和操作项:
- 子目标名称
- 操作按钮:编辑、删除、终止
- 核心/非核心指标达成标准
- 子目标效果状态:根据自动提取所绑定实验的核心/非核心指标提升百分比,来自动计算效果。只有存在一个绑定实验达成标准即可
- 选中一个子目标即可查看其关联实验及其指标信息
- 优胜实验组:实验的核心指标表现最优的分组
- 子目标衡量指标在各实验中的表现:相比于对照组的变化率、置信度情况
- 点击「查看报告」可新开页面进行详情查看