随着公司数据规模的快速膨胀,垂直业务单元会越来越多,而基于大数据的业务所需要的数据不仅仅是某个垂直单元的,使用数据类型繁多的数据才能具备核心竞争力。
在跨垂直单元数据建设过程中,各种数据对不齐、指标集中梳理难、指标统一定义难、指标问题追溯难等问题突出,痛点不断。
指标一体化解决方案指标平台,是建设公司范围内指标视角的统一资产(元数据)中心,能够解决“灵活数据分析”场景下的找数据和找口径的问题;维护可共享、可视化、服务化的业务指标体系;通过“事后治理融入事中研发、事中治理融入事前设计”的产品理念,帮助业务从需求源头规范化数据建设,达到“统一口径、高质量、无重复”的目标,让数据真正“好找、敢用”。
通过指标平台,可以达到以下目标:
指标平台主要包括指标字典、指标管理、指标应用、管理中心四个版块。
说明
指标拆解过程总体包括基础信息配置和指标拆解定义:
指标平台以维度建模为理论基础,划分并定义业务线、指标、数据模型, 支持导入多种数据源构建模型,提供多样指标构建方式,消除指标二义性,保证指标数据出口一致性。
其中,指标的元信息分为业务元信息和技术信息。
指标平台相关术语解释说明如下表所示。
名词 | 解释说明 | 举例 |
---|---|---|
业务线 | 带有业务含义的相对独立的业务空间。在相同业务线内对指标进行规范化定义,保证相同业务线下,不同产品之间指标的规范化命名和一致性定义。同时,可在业务线下进行角色、资源、权限的管理设置。 | 电商业务线、传媒业务线 |
技术指标 | 基于数据仓库模型设计和业务场景,进行原子指标、修饰词的抽象,基于原子指标和修饰词生成全局唯一的技术指标(包括衍生指标、复合指标)。技术指标主要用于与数仓模型字段的映射和描述指标的技术信息(包括字段类型、技术口径等)。 | 最近一天观看用户数、最近7天观看用户数 |
业务指标 | 在技术指标基础上去掉时间周期后生成(系统自动生成),全局唯一。业务指标主要用于业务定义的维护、业务属性的维护、指标元数据的消费。 | 观看用户数 |
数据域 | 是将业务过程或者维度进行抽象的集合,是否归到一个数据域,更多的是看数据是否来自同一个系统。 | 交易域 |
业务过程 | 不可拆分的行为事件,指在数据域下用户的动作,数据域下业务过程唯一。 | 下单、支付、确认收货 |
度量 | 用于生成原子指标,是业务定义中不可再拆分的指标。 | 订单金额 |
修饰词 | 用于描述原子指标发生的场景、满足的条件。 | 直播载体、商品卡载体 |
修饰类型 | 对相同类型修饰词进行归类。 | 载体类型 |
维度 | 数据视角下要计算的指标粒度。 | 商品ID、商家ID |
时间周期 | 用来统计指标计算的时间范围,用来修饰原子指标计算的周期时间。 | 最近1天、最近30天 |
指标单位 | 用于表示原子指标、衍生指标、复合指标的计算单位。 | 元、秒 |
数据类型 | 用于表示数据存储的类型。 | bigint,decimal |
原子指标 | 需要计算的指标,但是不参与计算,只是用来归类指标,等于业务过程+度量(支付订单金额),全局唯一。 | 支付订单金额 |
衍生指标 | 需要计算的指标,是对原子指标在业务统计范围的一个圈定。 | 最近1天支付订单金额 |
复合指标 | 衍生、复合指标之间可以通过四则运算或者统计方法生成复合指标。 | 最近一天支付客单价=最近1天支付订单金额/最近1天支付用户数 |
维度 | 维度即进行统计的对象。通常情况下,维度是实际存在、不因事件发生就存在的实体。创建维度,即从顶层规范业务中的实体(主数据),并保证实体的唯一性。
|
|
模型 | 数据模型由指标字段、维度字段组成,其数据来源可以是物理数据源,也可以是关联数据源。 | 数据仓库模型 |
指标级别 | 指标有不同的重要程度,对指标进行分级定义,明确业务的核心指标,并投入更多精力维护核心指标口径的正确性,可以帮助我们更好的维护一个健壮的指标体系。
|
|