You need to enable JavaScript to run this app.
导航
审核正确率的归因分析
最近更新时间:2025.03.18 20:24:13首次发布时间:2025.03.18 20:24:13
我的收藏
有用
有用
无用
无用

1.贡献率分析功能介绍

当业务数据发生变动,想了解是哪些因素造成数据波动、且各影响因素权重分别是多少时,即可使用智能数据洞察 归因分析贡献率分析功能。
例如在做 DNU(每日新增注册数)变动归因时,采用“贡献率分析”功能 ,将能在分析报告中直接看到:哪些业务源、哪些场景、哪些城市的变动导致了 DNU 的变动,并能展示每个影响因素的权重。
对比归因分析 “数据异动分析”功能,“贡献率分析”功能的区别在于,它不对数据波动做是否显著的判断,而是会给出所有影响因素的权重分析。

贡献率分析适用于:
日常监测核心指标,并对变动进行归因分析的业务;
影响因素维度较多,下钻时不易判断各因素影响权重的数据。

贡献率分为加法类指标和除法类指标,依据指标类型的不同,计算方法也略有不同。

  • 加法类指标

代表指标举例:DNU、GMV、订单量、广告消耗等
贡献率计算=(维度值 1 今日的值 - 维度值1 昨日的值)/(今日的总值 - 昨日的总值)

  • 除法类指标

代表指标举例:审核准确率、满意度、罚单率等
归因分析贡献率分析提供了“剔除法”和“权重法”两种计算方式,用户可按需选择。

2.贡献率分析在业务实战案例

2.1 业务背景

某部门负责审核内容平台 ugc 用户发布的音频、视频、文字作品审核。人工审核人员会将不合规作品进行下架处理。由于每天需审核的内容有数百万条,需每日复盘监控审核的正确率,及时调整管理策略,将审核误伤和审核漏放的情况控制在较低水平。 业务的核心关注点是审核质量,核心指标是审核正确率的趋势变化,及影响正确率的关键要素归因。

2.2 数据分析痛点

在以往,业务做数据复盘的方式如下:
第一步:对原始数据进行 Hive → Dorado → Hive 的处理
第二步:将上述数据制作数据集,并在智能数据洞察上建立看板
第三步:在看板中,以数据量级做排序参考,重点注重那些下降率高的队列
这样分析的流程痛点明显:由于每天关注数百个队列、数百万条 case,而数据看板只能展示数据量级的变化,所以难以按照队列数据量级的大小调整关注权重。例如一个队列,它只有 10 个 case,下降了 5 个,下降率高达 50%。另一个队列,有 10 万个 case,下降了 1 万个,下降率为 10 %。但在看板展示中,前者会更加靠前,因为没有数据量级的权重影响。

2.3 应用贡献率分析带来的业务提效

归因分析贡献率分析,帮助业务很好地解决了这个问题。

  • 在原本数据集的基础上,能够完成从数据看板到动态分析报告的闭环分析。
  • 通过对指标的权重配置,业务对审核队列数据判断准确率比之前精确许多。
  • 在每日自动生成的数据报告中,业务管理者能一目了然指标的关键影响因素。

该业务在使用了归因分析贡献率分析后,达到的效果是:每天都能知道该日正确率的浮动,受到哪个队列-哪个小组-哪位审核人员的影响,每个影响因子(每位审核人员)对指标正负向浮动的贡献分别是多少。
归因分析将直接给出核心指标趋势和核心指标影响因子排序。

  • 核心指标趋势

Image

  • 核心指标影响因子排序

在指标趋势展示的下方,依序列出了对该指标权重最大的同向影响因子和反向影响因子。在该案例中,能直接展示对审核正确率产生较大影响的,都是哪些队列及哪些人员。
Image
说明:

  • 同向影响因子与反向影响因子:

当核心指标上升,同向影响因子是对上升提供正向影响的因素。例如:当正确率上升,同向影响因子是指标上升的因子。反向因子则是指标下降的因子。 同理: 当核心指标下降,同向影响因子是指标下降的因子。

  • 影响维度解读:

维度1-维度2-维度3-.... 为下钻路径。例子:初审队列名称-dept: xxx队列 审核小组3 。可以解读为:在此 xxx注队列下审核小组3 对核心指标影响最大。

2.4 剔除法和权重法

下方介绍 Ask Data 除法贡献率的两种分析方法。

2.4.1 剔除法

把昨天和今天这个维度值的数据同时剔除掉,查看剔除掉后大盘准确率的环比差值变化(今天剔除掉后的大盘指标 -昨天剔除掉后的大盘指标)。
如果今天大盘准确率环比是上升的,那么剔除该维度值后的大盘准确率环比下跌越大->表明该维度值的贡献越大;
如果今天大盘准确率环比是下降的,那么剔除该维度值后的大盘准确率环比上升越大-->表明该维度值的贡献越大。
举例:
大盘今天上涨2个点(+2),剔除组长为A后的大盘环比下跌10个点(-10),则表明组长为A贡献了主要的增长点,没有了这个维度值的话大盘会下跌很多;
大盘今天下跌2个点(-2),剔除组长为B后的大盘环比上涨了5个点(+10),则表明组长为B贡献了主要的下跌,没有了这个维度值的话大盘会上涨;
大盘今天上涨2个点(+2),剔除组长为C后的大盘环比上升了10个点(+10),则表明组长为C的贡献是反向的,没有了这个维度值的话大盘会上涨更多;
大盘今天上涨2个点(+2),剔除组长为D后的大盘环比上涨了2个点(+2),则表明组长为D没有为今天的上涨做贡献,有没有都是一样的。

2.4.2 权重法

权重法是根据分数判断维度值的贡献度,score = impact * 跑赢大盘的比率,score越大贡献度越大。
(其中 impact = 维度值数据的重要程度;跑赢大盘的比率 = 该维度值指标变化/大盘指标变化)
举例:
整体的“审核准确率”大盘数据今天上升 2 个点,共审核了 10K 件;
假设组长 A 今天的“审核准确率”上升 4 个点,审核了 3K 件,组长 B 今天的“审核准确率”上升了 5 个点,审核了 3K件。那么组长A,B 今天的 impact 是相同的,组长 B 跑赢大盘 2.5 倍(5/2) > 组长 A 跑赢大盘 2 倍(4/2),所以组长B的贡献度高于组长 A。
impact 是表明该维度值下的数据重要程度,在两个维度值相同跑赢大盘的情况下,从业务角度上来哪些数据更大则贡献更大,比如:都是上升了 5 个点,“金额”越大表明贡献越大或者“利润”越大贡献越大,“审核数”越大贡献越大。

3.使用说明

总结而言,智能数据洞察归因分析的贡献率分析可以帮助用户对数据变动自动归因,并精确定位影响因子。
业务人员只需给出关注的核心指标,和指标的分析方向,将通过算法遍历维度组合,每日自动为用户找出“需要关注”的要点。