You need to enable JavaScript to run this app.
导航
高级分析:同期群分析
最近更新时间:2024.06.05 10:36:43首次发布时间:2023.06.09 16:02:36

一. 概述

为什么需要同期群分析?
大部分产品的用户使用行为是随使用时间的推移呈阶段性变化的,即用户对于产品/功能的使用是有生命周期的:用户在接触新产品or新功能后,会经历从初期使用,到频繁使用成为忠诚用户,或兴趣降低成为流失用户的过程。
产品运营需要做的,就是管理和改变用户生命周期,提升用户的黏性和活跃度。这里的数据决策基础,即同期群分析。
什么是同期群分析?
同期群分析 :即将用户按初始行为的发生时间进行划分为群组(即 同期群) ,然后:

  • 对处于同期群的用户进行横向比较,从而得出相似群体随时间的变化,观察策略对用户整个生命周期的影响;
  • 对不同的同期群纵向比较,可以从总体上看到,应用的表现是否越来越好了,从而验证产品改进是否取得了效果。

二. 名词解释
  • 同期群 :属于用户分群里的一个细分,是指在规定时间内对具有共同行为特征的用户进行分群。
  • 共同行为特征 :是指在某个时间段内的相似行为,它除了按不同时间的新增用户来分类外,还可以按不同的行为来分类,譬如首次进入实验。
  • 新进组用户 :当日首次进入实验的用户。

三. 应用场景

1.实验策略对用户有长期效应吗?
抖音开发了一个播放时长换奖励的新功能,先开启一个A/B实验验证实验效果,看数据发现看到新功能的用户数据表现明显好于对照组,想知道实验策略能否对用户有长期影响:比如让用户养成了习惯,即使实验关闭无奖励,用户也依然保持着播放的习惯。
那么就可以借助同期群分析,观察用户自首次进入实验组看到新功能,在后续的1天后/2天后/n天后,指标表现是否还是优于对照组,从而判断实验策略是短期有效还是长期对用户有影响。
2.分析实验对不同活跃度用户的影响
实验开启后,想比较在实验不同阶段体验实验策略的用户,后续的表现情况,用于分析不同日期「新进组用户」群组之间的差异,则可借助同期群分析,对不同天「新进组用户」,查看1天后/2天后/n天后的指标表现

四. 同期群分析

1.操作入口

在“实验报告页->同期群分析”,查看实验的同期群分析报告。如下图:
图片

2.按进组时间拆分指标趋势

指标趋势展示,所选时间内的首次进组用户自首次进组后当天、1天后、2天后...30天后的指标趋势图。

  • 默认展示从实验开始日期截止到昨日的汇总数据。
  • 可在上方添加维度观察某个用户群体(比如“系统语言=en”)的同期群分析。
  • 可在趋势图的左上角切换指标:
    • 支持: 人均类 (pv/au、pv/uv、sum/au、sum/uv)、 转化率类 (uv/au)、ctr 点击率类(pv/sum、sum/pv、pv/pv、sum/sum),以及满足该类型的组合指标;
    • 不支持:pv类型、sum类型。

图片

3.按进组时间拆分详细数据

详细数据,展示所选时间内的首次进组用户自首次进组后当天、1天后、2天后...30天后的指标数据。

  • 每个实验组,展示相对于对照组的涨跌幅和置信区间;
  • 点击详细数据实验分组旁的箭头icon,可查看每天的数据,即当天新进组用户在当天、1天后、2天后...30天后的指标数据。

图片

4.同期群报告如何解读

以指标purchase转化率为例,下图展示了新进组用户自首次进入实验后的购买转化率(即有购买的人数占比)趋势和详细数据,可以看到:
(1)用户从首次进组后,购买转化率(有购买的人数占比)是呈下跌趋势的,比如实验版本新进组用户是433人,首次进组当天购买转化率在10%左右,进组3天后的购买转化率在6%左右,在20天后趋于0
(2)从详细数据来看,实验版本与对照版本的按进组拆分购买转化率的对比是不显著的,也就是实验策略对于购买转化率长期趋势无正向效果。
图片
图片