数据模型由指标字段、维度字段组成,其数据来源可以是物理数据源,也可以是关联数据源。
定义好了需要用到的指标后,您可以创建模型,并在模型的基础上关联维度和定义的指标。
1 约束限制
仅业务线管理员或指标管理员具备操作权限。
2 前提条件
- 在概览页面,已开通湖仓一体、分布式数据自治或 DataOps敏捷研发服务。详细操作说明请参见 DataLeap 服务信息。
- 已创建业务线。
- 已创建所需的指标定义,才可配置指标。
3 创建模型
登录 DataLeap 控制台后,进入指标平台。
在页面右上角的业务线下拉列表中,选择要管理的业务线。
选择建模研发 > 模型,进入模型页面。
单击新建模型按钮,进入创建模型页面。
设置模型信息,单击确定按钮,完成模型创建。
新建模型相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
参数 | 说明 |
---|
*数据源类型 | 需要导入的数据源表类型,支持 ByteHouse CDW 和 Doris,下拉可选。 |
基础信息 |
*模型名称 | 模型的名称,自行设定,同一业务线下不可重复。
仅可由汉字、字母、数字、_、【】或() 组成。 |
*负责人 | 模型负责人,下拉可选,仅支持选择一个。
默认为当前用户,可更改为当前租户下其他账号。 |
分类 | 模型所属分类,下拉可选。 说明 - 若没有可选的分类,可按需新增分类,相关操作说明请参见管理模型分类。
- 若不选择分类,则模型直接展示在根目录下。
|
描述 | 数据模型的详细描述信息。 |
标签 | 模型标签,用于查询、管理模型。自行输入设置,可设置多个。 |
配置信息(ByteHouse CDW) |
*数据表类型 | 支持单表和自定义SQL 两个选项。 - 单表:选择一张表作为数据源。
- 自定义SQL:可填写自定义SQL将多张表 join 作为数据源。
|
*DB | 要导入的主表所在的数据库,下拉可选已创建的数据库。 |
*主表 | 要导入的主表,下拉可选已创建的表,可输入表名关键词快速搜索后选择。 说明 仅支持选择有整表select和show create权限的 ByteHouse 表。 |
*自定义SQL | 输入自定义 SQL 语句,校验并解析通过后,表示设置成功。 说明 - 仅支持当前所选DB下的表进行自定义SQL。
- 当数据表类型选择自定义SQL 时,需设置该参数。
|
*数据生产周期 | 主表的数据生产周期,支持天级、小时级和实时三个选项。 |
*主表数据类型 | 来源主表数据的数据存放方式,支持单事务事实表和多事务事实表两个选项,按实际选择。 - 单事务事实表:事实表中有且仅有一个业务过程/业务日期,只反映一个业务过程或业务日期的事实。例如,时间分区字段同时也是表中唯一的业务日期。
- 多事务事实表:同一个事实表中包含多个业务过程或多个业务日期。 例如,表中时间分区字段不具有业务语义,表中除了包含时间分区外,还包含一个或者多个业务日期,如 start_date、register_date 等。
|
业务日期字段 | 业务日期标识字段,将根据该字段聚合对应业务日期数据。
选择后,创建指标将按该业务字段聚合。如果此处不选择,则在该模型基础上创建指标时需要选择业务日期。
当主表数据类型选择多事物事实表时,可设置该参数。 |
*日期分区 | 主表时间分区字段,下拉可选,支持的选项为自定义SQL解析出的字段。
当数据表类型选择自定义SQL 时,需设置该参数。 |
*日期分区格式 | 主表时间分区字段的格式,支持 yyyy-MM-dd 和 yyyyMMdd 两个选项。 |
配置信息(Doris) |
*项目空间 | Doris 数据源所在的项目,下拉可选已在数据服务产品侧创建的项目空间。创建项目空间的操作说明请参见项目管理。 |
*数据源名称 | Doris 数据源的名称,下拉可选所选项目下已创建的 Doris 数据源。
选择项目空间后,才可设置该参数。 |
*db | 要导入的主表所在的 Doris 数据库,下拉可选已创建的数据库。
选择数据源名称后,才可设置该参数。 |
*主表 | 要导入的主表,下拉可选已创建的表,可输入表名关键词快速搜索后选择。 |
*数据生产周期 | 主表的数据生产周期,仅支持天级。 |
日期分区 | 主表时间分区字段,下拉可选。 |
日期分区格式 | 主表时间分区字段的格式,设置日期分区后自动填充,不可编辑。 |
高级配置 |
高级属性 | 给模型添加高级属性信息。
按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值。配置完成后,将在模型详情页显示该字段属性作为模型的元信息。 |
4 配置并发布模型
- 登录 DataLeap 控制台后,进入指标平台。
- 在页面右上角的业务线下拉列表中,选择要管理的业务线。
- 选择指标平台 > 建模研发,进入模型页面。
- 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
- 可查看模型详情信息并执行以下操作完善模型配置。
- 单击发布按钮,在弹出窗口中,填写发布说明信息后,单击确定按钮,发布物化模型,并使配置信息生效。此时,单击已发布指标的名称,可查看该指标对应的物理实现详情。
说明
- 模型发布物化后,才可在物化信息页签查看物化信息和物化记录。
- 新增、编辑或删除指标/维度配置信息后,重新发布模型才能生效。
- ByteHouse(云数仓版)数据源不需要物化,发布模型后,仅指标/维度生效。
4.1 配置维度
单击模型详情页面的指标/维度页签,进入指标/维度信息配置页面。
单击新建维度按钮,弹出新建维度窗口。
可通过以下方式,将所选字段填充在待创建维度列表中。
- 单击左侧主表字段名称所在行的添加图标按钮。
说明
- 可快速筛选已配置和未配置过维度的字段,还可输入字段名或字段描述关键词快速搜索符合条件的字段。
- 在当前模型上已经配置过维度的字段右侧将带有蓝色圆形提示。
- 单击一键推荐按钮,在弹出的推荐窗口中,系统根据主表字段和已有维度英文名匹配,推荐检测到的维度,单击确定按钮。
- 单击 +自定义SQL 按钮,可自定义维度名称、英文名以及维度计算逻辑。
可按需编辑维度信息后,单击确定按钮,完成维度创建。
新建维度相关参数说明如下表所示。
参数 | 说明 |
---|
*维度名称 | 新建维度的名称,自行设定,同一业务线下具有唯一性。 说明 系统会推荐业务线下模型上已存在的维度名称,为了名称的统一规范,请尽量和已存在的相似维度名保持一致。 |
*维度英文名 | 新建维度的英文名称,同一业务线下具有唯一性。
仅可由英文、数字或下划线组成。 说明 模型管理以及指标应用/服务将统一使用该名称获取维度。 |
关联维度 | 该模型关联的维度,下拉可选已创建的维度。 说明 若选择关联已创建的维度,则维度名称、维度英文名和描述字段自动填充为该关联维度的信息。 |
字段 | 创建维度的字段名称。
当选择主表字段时,该参数直接显示主表字段名称,不可编辑。 |
*数据类型 | 维度的数据类型,支持VARCHAR、BIGINT、DOUBLE 和 DATE四个类型选项。 |
*计算逻辑 | 计算逻辑为来源字段。
如果关联了实体/码值维度,则该计算逻辑为主表外键字段。 |
描述 | 数据模型维度的详细描述信息。 |
主键 | 维度枚举值的唯一标识字段,一般为id或者码值。
若为复合主键,则可选择多个字段。相同主键(粒度)的数据默认汇总展示在数据集市。 |
对已创建的维度,还可执行以下管理操作:
- 单击维度列表中某条信息操作列的查看图标,可以查看该维度详情信息。
- 单击维度列表中某条信息操作列的编辑图标,可以修改该维度的配置信息。
- 单击维度列表中某条信息操作列的删除图标,弹出确认删除维度对话框,确认后可以删除该维度。
4.2 配置指标
- 单击模型详情页面的指标/维度页签,进入指标/维度信息配置页面。
- 可选择以下任一方式,完成模型指标创建。
根据字段直接新建
单击新建指标 > 根据字段直接新建按钮,弹出新建指标窗口。
可通过以下方式,将所选字段填充在待创建指标列表中。
- 单击左侧主表字段名称所在行的添加图标按钮。
说明
- 可快速筛选已配置和未配置过指标的字段,还可输入字段名或字段描述关键词快速搜索符合条件的字段。
- 在当前模型上已经配置过维度的字段右侧将带有蓝色圆形提示。
- 单击筛选按钮旁的一键配置所有字段图标。
- 单击一键推荐按钮,在弹出的推荐窗口中,系统根据主表字段和已有衍生指标英文名匹配,推荐检测到的指标,单击确定按钮。
- 单击 +自定义SQL 按钮,可自定义指标定义和计算逻辑。
设置指标信息后,单击确定按钮,完成模型指标创建。
说明
通过字段操作列的设置图标,可进一步配置该指标的业务信息、技术信息等。
新建指标相关参数说明如下表所示。
参数 | 说明 |
---|
*指标定义 | 业务线下已有的指标定义关联,下拉可选。
仅可关联当前业务线下状态为生效中的指标。 |
*计算逻辑 | 指标的计算逻辑。下拉可选,支持求和、计数和去重计数三个选项;还可通过单击 </> 写自定义SQL。 |
*查数偏移 | 查询数据时查询日期偏移时间分区的量,支持多个选项,下拉可选。
例如查指标9月1日数据,若查数偏移为${date + 0},则查询9月1日分区;若偏移为${date + 1},则查9月2日分区。 |
更多配置- 业务信息 |
*级别 | 指标级别,支持以下三个选项: - D1(公司级指标),支撑公司战略决策,需要在公司范围内统一:例如日活、新增、留存等。
- D2(业务级核心指标),支持业务决策和拆分D1级指标:例如直播时长、直播观看人数、搜索次数等。
- D3(其他分析型指标),灵活,常用于分析和辅助业务发展:例如签约主播直播时长、主动搜索次数等。
|
单位 | 指标的单位,如个、元、条等,按需自行设定。 |
指标评价 | 该指标的评价,支持正向和负向两个选项。 - 正向:代表向上或向前发展、增长的指标,值越大评价就越好。
- 负向:指数值越小越好。
|
更多配置- 技术信息 |
*产出时间 | 数据产出时间,下拉可选,支持 T+n、实时等多个选项,其中 T 表示业务日期。例如:一般次日留存数据产出时间是T+2,七日留存数据产出时间是T+8。 |
*日期累加 | 支持全累加和不可累加两个选项。 - 全累加:表示指标在各个维度上都可累加。
- 不可累加:表示指标只在“日期”维度上不可累加。
|
*数据类型 | 指标采用的数据类型,支持 BIGINT、DOUBLE 和 DATE 三个选项。 |
更多配置- 高级属性 |
字段属性名称 | 按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值。 |
字段值 | 按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值。 |
根据已有指标衍生构建
- 单击新建指标 > 根据已有指标衍生构建按钮,弹出新建指标窗口。
- 选择指标、统计周期等信息,单击生成按钮,衍生构建新的指标。
- 配置构建指标及其他信息后,单击确定按钮,完成指标创建。
说明
通过指标操作列的更多配置按钮,可进一步配置该指标更多信息。
新建指标相关参数说明如下表所示。
参数 | 说明 |
---|
*指标 | 当前模型上的非衍生构建生成的指标,下拉可选,支持选择多个。 |
过滤条件 | 生成构建指标的过滤条件,下拉可选。
选项为模型上已创建的业务限定,即把所选业务限定的计算口径作为表达式的过滤条件,类似于where条件。 |
*统计周期 | 指标数据统计范围,下拉可选。例如选择最近1天,则默认统计最近一天时间分区的数据。 |
*负责人 | 模型指标负责人。
默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。 |
*构建指标 |
指标定义 | 选择一个指标关联或者直接新增一个指标,当前计算逻辑将成为关联指标的一个物理实现。 - 当选择指标关联时,仅可关联当前业务线下状态为生效中的指标。
- 当直接新增指标时,单击下拉框旁的 + > 直接新增指标定义按钮,设置以下参数:
- 指标名称:原子指标的名称,默认为统计周期、过滤条件和原始指标的组合,可编辑。同一业务线下名称不可重复。
- 指标英文名:原子指标的英文名称,默认为过滤条件、原始指标和统计周期的组合,可编辑,由字母、数字或下划线组成。同一业务线下名称不可重复。
- 业务定义:指标口径描述。根据过滤条件、原始指标和统计周期自动生成,可编辑。
- 指标分类:指标所属的分类,下拉可选该业务线下已有指标分类。
- 业务负责人:对指标的业务口径进行答疑解释,参与指标变更沟通。默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。
- 技术负责人:对指标的技术口径及产出逻辑进行答疑解释,参与指标变更沟通。默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。
- 扩展属性的展示名:若设置了扩展属性,创建指标时会显示相应的展示名称(例如:指标自定义_测试),可按需配置。
|
原始指标 | 生成构建指标时选择的指标。 |
统计周期 | 生成构建指标时选择的统计周期。 |
过滤条件 | 生成构建指标时选择的过滤条件。 |
更多配置- 基础信息 |
*级别 | 指标级别,支持以下三个选项: - D1(公司级指标),支撑公司战略决策,需要在公司范围内统一:例如日活、新增、留存等。
- D2(业务级核心指标),支持业务决策和拆分D1级指标:例如直播时长、直播观看人数、搜索次数等。
- D3(其他分析型指标),灵活,常用于分析和辅助业务发展:例如签约主播直播时长、主动搜索次数等。
|
指标评价 | 该指标的评价,支持正向和负向两个选项。 - 正向:代表向上或向前发展、增长的指标,值越大评价就越好。
- 负向:指数值越小越好。
|
更多配置- 高级属性 |
字段属性名称 | 按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值。 |
字段值 | 按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值。 |
根据已有指标组合构建
- 单击新建指标 > 根据已有指标组合构建按钮,弹出新建指标窗口。
- 单击添加组合指标按钮,新增一条构建指标。
- 设置指标信息后,单击确定按钮,完成指标创建。
说明
通过指标操作列的更多配置按钮,可进一步配置该指标更多信息。
新建指标相关参数说明如下表所示。
参数 | 说明 |
---|
*构建逻辑 | 仅支持选择当前模型上的非四则运算指标,组成构建逻辑。 |
指标定义 | 选择一个指标关联或者直接新增一个指标,当前计算逻辑将成为关联指标的一个物理实现。 - 当选择指标关联时,仅可关联当前业务线下状态为生效中的指标。
- 当直接新增指标时,单击下拉框旁的 + > 直接新增指标定义按钮,设置以下参数:
- 指标名称:原子指标的名称,默认为统计周期、过滤条件和原始指标的组合,可编辑。同一业务线下名称不可重复。
- 指标英文名:原子指标的英文名称,默认为过滤条件、原始指标和统计周期的组合,可编辑,由字母、数字或下划线组成。同一业务线下名称不可重复。
- 业务定义:指标口径描述。根据过滤条件、原始指标和统计周期自动生成,可编辑。
- 指标分类:指标所属的分类,下拉可选该业务线下已有指标分类。
- 业务负责人:对指标的业务口径进行答疑解释,参与指标变更沟通。默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。
- 技术负责人:对指标的技术口径及产出逻辑进行答疑解释,参与指标变更沟通。默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。
- 扩展属性的展示名:若设置了扩展属性,创建指标时会显示相应的展示名称(例如:指标自定义_测试),可按需配置。
|
*负责人 | 模型指标负责人。
默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。 |
更多配置- 业务信息 |
*级别 | 指标级别,支持以下三个选项: - D1(公司级指标),支撑公司战略决策,需要在公司范围内统一:例如日活、新增、留存等。
- D2(业务级核心指标),支持业务决策和拆分D1级指标:例如直播时长、直播观看人数、搜索次数等。
- D3(其他分析型指标),灵活,常用于分析和辅助业务发展:例如签约主播直播时长、主动搜索次数等。
|
单位 | 指标的单位,如个、元、条等,按需自行设定。 |
指标评价 | 该指标的评价,支持正向和负向两个选项。 - 正向:代表向上或向前发展、增长的指标,值越大评价就越好。
- 负向:指数值越小越好。
|
更多配置- 技术信息 |
*数据类型 | 指标采用的数据类型,支持 BIGINT、DOUBLE 两个选项。 |
*小数点位数 | 指标显示的小数点位数,下拉可选。
当数据类型为 DOUBLE 时,需设置该参数。 说明
该设置仅对预览生效。 |
更多配置- 高级属性 |
字段属性名称 | 按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值。 |
字段值 | 按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值。 |
说明
- 创建指标后,会自动生成 api查询码,您可通过该参数获取指标数据。
- 通过指标详情页或指标物理实现详情页,可查看 api查询码。
- 对已创建的指标,还可执行以下管理操作:
- 单击指标列表中某条信息操作列的查看图标,可以查看该指标详情信息,包括api查询码。
- 单击指标列表中某条信息操作列的编辑图标,可以修改该指标的配置信息。
- 单击指标列表中某条信息操作列的删除图标,弹出确认删除指标对话框,确认后可以删除该指标。
注意
- 删除指标可能会影响下游服务使用,请谨慎删除,可前往指标详情页查看指标最近使用情况。
- 在确认删除指标对话框的指标列表中,将同时展示依赖于当前指标构建的其他指标。删除当前指标后,会同时删除列表中的关联指标,建议先联系负责人解除依赖。
4.3 配置业务限定
单击模型详情页面的业务限定页签,进入业务限定信息配置页面。
单击新增业务限定按钮,弹出新建维度窗口。
设置业务限定信息后,单击确定按钮,完成信息配置。
新增业务限定相关参数说明如下表所示。
参数 | 说明 |
---|
*业务限定名称 | 新建业务限定的名称,自行设定。 |
*业务限定英文名 | 新建业务限定的英文名称,自行设定。 |
*限定类型 | 业务限定的数据类型,支持手动输入或下拉选择,仅支持设置一个类型。 |
*计算逻辑 | 业务限定的计算逻辑,按需输入自定义SQL。 |
描述 | 数据模型业务限定的详细描述信息。 |
单击列表中某条信息操作列的编辑图标,还可修改已创建的业务限定信息。
5 搜索模型
- 登录 DataLeap 控制台后,进入指标平台。
- 在页面右上角的业务线下拉列表中,选择要管理的业务线。
- 选择建模研发 > 模型,进入模型页面。
- 在模型目录栏,输入模型名、指标中英文名、维度中英文名或主表名的关键词后,按回车键,可搜索符合条件的数据。
6 编辑模型
- 登录 DataLeap 控制台后,进入指标平台。
- 在页面右上角的业务线下拉列表中,选择要管理的业务线。
- 选择建模研发 > 模型,进入模型页面。
- 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
- 单击基础信息或配置信息栏的编辑图标,弹出对应的信息编辑窗口,修改相应信息后,单击确定按钮,完成修改。
说明
若已配置指标/维度、业务限定等信息,也可进行相应的编辑,相关操作可参见配置并发布模型。
7 删除模型
- 登录 DataLeap 控制台后,进入指标平台。
- 在页面右上角的业务线下拉列表中,选择要管理的业务线。
- 选择建模研发 > 模型,进入模型页面。
- 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
- 单击页面右上角的删除按钮,弹出确认删除模型对话框,单击全部删除按钮,即可删除该模型。
注意
删除模型后,其下创建的指标将一并删除,不可再使用,需谨慎操作。
8 管理历史版本
- 登录 DataLeap 控制台后,进入指标平台。
- 在页面右上角的业务线下拉列表中,选择要管理的业务线。
- 选择建模研发 > 模型,进入模型页面。
- 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
- 单击页面右上角的历史版本按钮,在弹出的窗口中,可以查看模型版本历史详情并执行以下操作:
- 单击其中一个版本操作列的查看按钮,可以查看该版本的模型详情。
- 单击其中一个版本操作列的恢复至草稿按钮,可以将该版本恢复至草稿后,重新发布。
9 回溯模型
- 登录 DataLeap 控制台后,进入指标平台。
- 在页面右上角的业务线下拉列表中,选择要管理的业务线。
- 选择建模研发 > 模型,进入模型页面。
- 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
- 单击页面右上角的回溯按钮,在弹出的窗口中,选择业务日期后,单击确定按钮,可对模型对应的物化任务发起数据回溯。
说明
- 模型发布物化成功后才可回溯。否则,回溯按钮灰显。
- ByteHouse(云数仓版)数据源不支持回溯。