1 整体概述
- 业务诉求:为汽车行业的某营销管理平台构建指标专题,从技术指标的拆解和构建、模型绑定,到指标消费场景,帮助各业务线建立统一的指标体系,并提供指标和维度的定义与管理、数据关联,以及构建指标从定义、存储到应用的全流程视图,保障指标口径一致,提高消费者的使用效率。
- DataLeap 指标平台【新版】的核心使用流程如下:
- 业务需求指标录入(可选)。
- 基于配置中心能力,维护指标基础元素。
- 技术指标生产,拆解原子指标、衍生指标、修饰词并进行管理,通过模板导入。
- 指标维度管理维护,再基于 ByteHouse CDW(云数仓)模型绑定。
- 业务指标管理,可批量录入并分类维护。
- 通过指标字典搜索指标,自定义指标专题,在指标应用中完成登记。
- 预配置文件
- 基础配置项:流程演示构建元素配置
- 指标构建如下:
说明
导入指标时请注意修改负责人,改成您持有的当前账号。
2 使用过程
2.1 管理中心
- 新建业务线。
说明
业务指标新增默认开启。开启后,支持直接新建业务指标,未配置技术口径的业务指标也能绑定模型。
- 选择管理中心 > 业务线管理 > 成员管理,进入成员管理页面,添加成员。
说明
业务线成员支持以下角色,各角色说明如下:
- 技术管理:作为指标技术负责人,负责指标维度技术信息管理、模型管理等。
- 业务管理:作为指标业务负责人,负责指标维度业务信息管理、下游应用登记等。
- 业务用户:作为业务线普通用户,拥有业务线页面信息浏览权限,可查询业务线下低保密等级指标数据。
2.2 指标管理
2.2.1 配置中心
通过配置中心,维护指标基本构建元素,仅业务线管理员与数据域负责人有操作权限。
参考基础配置项流程演示构建元素配置,逐个完成业务域、业务过程、度量、修饰词、时间周期、指标单位、数据类型信息维护。
2.2.2 原子指标
- 选择指标管理 > 指标开发 > 原子指标,新增原子指标。
支持单个录入,也支持基于模板下的批量导入。原子指标数据参见1 整体概述的原子指标批量导入模板.xls。
- 采用批量方式,对原子指标提交审核。
- 数据域负责人审核生效,完成技术指标的批量审核。
2.2.3 衍生指标
- 选择指标管理 > 指标开发 > 衍生指标,新增衍生指标。
支持选择多个原子指标、多个时间周期、多个修饰词批量创建。衍生指标数据参见1 整体概述的衍生指标批量导入模板.xls。
- 创建完成后,需对应数据域负责人审核生效。
2.2.4 复合指标
- 选择指标管理 > 指标开发 > 复合指标,新建复合指标。
选择复合指标或衍生指标,配置指标之间四则或者统计计算公式,配置复合指标中文、英文名、责任人等基本信息后,提交审核。复合指标数据参见1 整体概述的复合指标批量导入模板.xls。
- 创建完成后,需对应数据域负责人审核生效。
2.3 维度管理
主要维护业务线下统一维度体系,核心属性信息包括:维度业务定义、负责人、全量枚举值(手动维护/维表),支持批量导入。
- 选择指标管理 > 维度管理,进入维度管理页面。
- 单击新增维度按钮,创建维度。
2.4 模型管理
2.4.1 数据源注册
支持MySQL、Hive、ByteHouse CDW等多种数据源,本文以 ByteHouse CDW为例注册数据源。
- 选择管理中心 > 数据源管理,进入数据源管理页面。
- 单击添加数据源按钮,注册 ByteHouse CDW 数据源。
说明
计算组为 ByteHouse 中的计算组 UUID 信息,例如 -21******-default-**,需按实际情况填写。
2.4.2 物理表创建
在 ByteHouse CDW 的 nuwa 库中创建物理表,用于未来模型绑定。
ByteHouse CDW 表构建代码:
CREATE TABLE `nuwa_demo_app`
COMMENT 'nuwa汽车行业指标数据表'
(
`nuwa_shard_key` Int64 DEFAULT '主键',
`user_id` Int64 DEFAULT '访客ID',
`xiansuo_origin` Int64 DEFAULT '原始线索数',
`xiansuo_in` Int64 DEFAULT '线索流入数',
`xiansuo_correct` Int64 DEFAULT '有效线索数',
`brand_type` String DEFAULT '品牌名类型',
`model_type` String DEFAULT '车型类型',
`create_time` String DEFAULT '创建时间',
`date` String DEFAULT 'PD日期'
)
ENGINE = CnchMergeTree
ORDER BY (create_time)
PARTITION BY (toDate(toStartOfDay(toDate(`date`))))
PRIMARY KEY (create_time)
UNIQUE KEY (nuwa_shard_key)
在数据地图 > 元数据采集中,检查 ByteHouse CDW 采集器是否执行了元数据采集。
在数据地图 > 数据检索中,搜索nuwa,可找到已构建完成的表。
2.4.3 模型管理
- 选择指标管理 > 模型管理,进入模型管理页面,单击新建模型按钮,新建ByteHouse云数仓版模型。
- 单击该模型详情页面的新建维度按钮,在弹出的窗口中,选择品牌、车型。
- 单击新建指标按钮,在弹出的窗口中,选择数据源类型、模型名称、关联字段、单位、表达式,基于指标绑定模型。
说明
模型粒度会自动拉取数据地图中模型主键字段关联的维度。
新建指标模型绑定有以下两种方式:- 根据字段直接新建指标
- 根据已有指标组合构建
- 单击发布按钮,发布模型,提交审核。
2.5 业务指标管理
业务指标管理主要用于指标业务团队统一管理和维护指标业务口径定义、业务属性信息(如业务别名、业务背景等)。
- 选择指标管理 > 业务管理 > 管理分类,在业务指标分类管理页面,创建分类。
说明
管理分类对于业务线是全局的视角,业务方可以基于本方向负责的指标进行分类设置,管理分类的初始化由产品团队或数据BP团队与业务团队对齐后在未归属分类初始化到管理分类中。
- 选择业务管理 > 业务指标,在业务指标管理页面,新建业务指标。
2.6 指标字典
2.6.1 创建专题
- 选择指标字典,单击新增子主题按钮,配置专题基本信息,包括:
- 专题名称:专题展示标准名称。
- 专题责任人:一般为数仓、分析师,专题责任人具备专题基本属性、专题下指标及维度管理权限。
- 添加指标/维度,管理专题下包含的指标及维度。支持手动添加、文件批量导入两种添加方式。
2.6.2 指标探查
- 单击指标字典专题下对应的指标名称,进入该指标详情页面。
- 单击某个关联模型操作列的数据探查按钮,在弹出的侧拉窗口中,设置探查信息后,单击查询按钮,可以查看指标数据探查结果。
2.7 指标应用
应用登记主要登记指标应用于数据产品的相关信息,可用于数据产品需求登记和使用管理。
- 选择指标应用 > 应用登记,进入应用登记页面。
- 创建应用登记层级分类。
支持依次创建产品、页面、模块三个层级。创建产品层级的分类后,其余层级分类可在已创建的层级中通过添加下级操作创建。
- 在模块层级分类下添加业务指标/维度,进行指标应用登记。
- 登记完成后,可在相应业务指标/维度的详情页面查看指标/维度应用信息。
3 其他FAQ
- 为啥要做技术指标和业务指标的区分?
技术指标是面向数据BP开发过程,确认一个指标底层开发逻辑必须做时间周期的声明,例如对于一张表或者某个字段而言,一定要回答的问题是这是个增量表还是全量表或者这个字段的统计时间范围是什么。而业务指标是面向指标业务口径统一过程,指标支持哪些时间周期只是业务口径管理的一个属性之一。如果不做这一层区分,只有业务指标,那么技术指标的物理映射没办法实现;只做技术指标,业务口径统一和元数据查询服务围绕技术指标来做,在指标量级上维护成本会非常大。 - 指标名称是否可以直接生成,生成规则是什么?
| 技术指标 | 业务指标 |
---|
原子指标 | 衍生指标 | 复合指标 |
---|
面向角色 | 数仓开发(系统:技术管理角色) | 业务人员(系统:业务管理角色) |
构建逻辑 | 数据域+业务过程+度量 | 时间周期+修饰词+原子指标 | 衍生/复合指标之间四则运算 | 业务指标在技术指标基础上去掉时间周期后生成(系统自动生成),同样全局唯一。 |
命名规范 | 中文:业务过程+度量
英文:业务过程英文缩写+度量英文缩写,用下划线链接。 | 中文:自动拼接,时间周期+修饰词+原子指标,可修改修饰词部分。
英文:自动拼接,修饰词+原子指标+时间周期英文缩写,用下划线链接,可修改修饰词部分。 | 中文:用户自定义,已存在相似逻辑指标(不同时间周期)系统自动带入已有名称。
英文:用户自定义,已存在相似逻辑指标(不同时间周期)系统自动带入已有名称。 | 无 |
是否关联表 | 禁止 | 是 | 是 | 否 |
举例 | 观看用户数 | 最近7天抖极端观看用户数、最近7天抖音端观看用户数 | | 抖极端观看用户数、抖音端观看用户数 |
是否必须 | 是 | 是 | 是 | 否(系统会根据技术指标自动生成) |
补充说明 | 为兼容特殊场景指标,业务过程支持设置是否自动生成原子指标名称。选择“否”时,原子指标名称自定义,业务线内唯一。 | - 当已存在相同修饰词+原子指标,不同时间周期指标时,修饰词部分名称保持一致。如存在“最近一天直播间支付GMV”,新建指标“最近7天直播间支付GMV”除时间周期部分,系统约束严格一致。
- 当无修饰词部分时,名称不可修改。
| 当已存在相同表达式,不同时间周期指标时,修饰词部分名称保持一致。如存在“最近一天直播间支付GMV”,新建指标“最近7天直播间支付GMV”除时间周期部分,系统约束严格一致。 | 无 |