数据模型由指标字段、维度字段组成,其数据来源可以是物理数据源,也可以是关联数据源。
通过本功能,您可以导入当前支持的数据源,创建需要的数据模型。
1 约束限制
仅业务线管理员或指标管理员具备操作权限。
2 前提条件
- 已创建业务线。
- 已注册相应数据源。相关操作说明请参见数据源管理。
- 已创建所需的指标定义,才可配置指标。
3 操作步骤
登录 DataLeap 控制台,进入指标平台。
在页面右上角的业务线下拉列表中,选择要管理的业务线。
选择指标管理 > 模型管理,进入模型管理页面。
单击新建模型按钮,进入创建模型页面。
设置模型信息,单击确定按钮,完成模型创建并展示模型详情信息。
- 不开启查询模型(LAS-Hive)的详情页面
- 开启查询模型(LAS-Hive 以外的其他数据源类型)的详情页面
新建模型相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
参数 | 说明 |
---|
注册方式 | 仅支持物理源选项,默认选中。 |
*数据源类型 | 需要导入的数据源表类型。支持 Cloud-MySQL、VEDB-MySQL、Doris、ByteHouse云数仓版、LAS-Hive 五种类型,下拉可选。 |
*数据查询 | 显示所选数据源是否开启数据查询,不可编辑。 - 当数据源类型选择 LAS-Hive 以外的其他类型时,均默认开启查询,即生成可用于指标服务的模型。
- 当数据源类型选择 LAS-Hive 时,默认不开启查询。模型当前仅支持 LAS-Hive 表注册,主要用于说明指标数据口径,使用指标作为字段解释信息。
|
基本信息 |
*模型名称 | 模型的名称,自行设定,同一业务线下不可重复。
仅可由汉字、字母、数字、_、【】或() 组成。 |
*负责人 | 模型负责人,下拉可选,仅支持选择一个。
默认为当前用户,可更改为其他账号。 |
分类 | 模型所属分类,下拉可选。 说明 - 若没有可选的分类,可按需新增分类,相关操作说明请参见管理模型分类。
- 若不选择分类,则模型直接展示在根目录下。
- LAS-Hive 数据源仅需设置该基本信息。
|
描述 | 数据模型的详细描述信息。 |
标签 | 模型标签,用于查询、管理模型。自行输入设置,可设置多个。 |
配置信息 |
*主表类型 | 支持单表和自定义SQL 两个选项。 - 单表:选择一张表作为数据源。
- 自定义SQL:可填写自定义SQL将多张表 join 作为数据源。
说明 Doris 数据源仅支持单表选项,LAS-Hive 数据源不支持该参数。 |
*数据源 | 要导入的主表对应的数据源,下拉可选已在管理中心 > 数据源管理创建的数据源。 |
*DB | 要导入的主表所在的数据库,下拉可选已创建的数据库。 |
*主表 | 要导入的主表,下拉可选已创建的表,可输入表名关键词快速搜索后选择。 |
*自定义SQL | 输入自定义 SQL 语句,校验并解析通过后,表示设置成功。 说明 - 当数据表类型选择自定义SQL 时,需设置该参数。
- 仅支持当前所选DB下的表进行自定义SQL。
|
*数据生产周期 | 主表的数据生产周期。 - Cloud-MySQL、VEDB-MySQL 数据源仅支持实时选项。
- Doris 数据源仅支持天级选项。
- ByteHouse云数仓版数据源支持天级、小时级和实时三个选项。
|
*主表数据类型 | 来源主表数据的数据存放方式,支持增量表和全量表两个选项,按实际选择。 - 增量表:事实表中有且仅有一个业务过程/业务日期,只反映一个业务过程或业务日期的事实。例如,时间分区字段同时也是表中唯一的业务日期。
- 全量表:同一个事实表中包含多个业务过程或多个业务日期。
例如,表中时间分区字段不具有业务语义,表中除了包含时间分区外,还包含一个或者多个业务日期,如 start_date、register_date 等。
说明 当数据源类型为ByteHouse云数仓版时,才需设置该参数。 |
*日期分区 | 主表时间分区字段,下拉可选,支持的选项为自定义SQL解析出的字段。 说明 当数据源类型为ByteHouse云数仓版时,数据表类型选择自定义SQL 后,才需设置该参数。 |
*日期分区格式 | 主表时间分区字段的格式,支持 yyyy-MM-dd 和 yyyyMMdd 两个选项。 |
业务日期字段 | 业务日期标识字段,将根据该字段聚合对应业务日期数据。
选择后,创建指标将按该业务字段聚合。如果此处不选择,则在该模型基础上创建指标时需要选择业务日期。
当主表数据类型选择全量表时,可设置该参数。 |
字段 | 数据表的字段信息,用于建立与指标/维度的关联关系。仅 LAS-Hive 类型的表支持设置该参数。
选择主表后,将自动显示表的字段信息,并可通过以下操作建立关联关系: - 可单击关联指标/维度按钮,选择当前字段关联的指标/维度。支持选择多个指标,同时支持配置各个指标的关联表达式。
说明 通过一键推荐按钮,系统可自动基于指标&维度的中文名称与字段描述的相似度,推荐关联关系。 - 单击编辑表达式按钮,可补充说明指标的准确查询逻辑,默认为关联字段名,常见表达式如下:
- case when date_tyep='1d' and date_tyep='7d' then live_prod_click_cnt else 0 end
- sum(CAST(match_service_fee as float))
- COUNT(DISTINCT CASE WHEN from_unixtime(unix_timestamp(h_date, 'yyyyMMdd'), 'yyyy-MM-dd') = '${DATE}' THEN CASE WHEN is_core_deal_business = 1 THEN business_id ELSE NULL END ELSE NULL END)
|
高级配置 |
是否cube | 主表是否是cube数据。提供非cube 和 cube 两个选项,根据实际情况选择。 说明 当是否cube 选择 cube 时,需进行cube配置,相关操作说明请参见4.5 Cube配置。 |
高级属性 | 给模型添加高级属性信息。
按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值。配置完成后,将在模型详情页显示该字段属性作为模型的元信息。 |
4 后续操作
创建模型后,可对该模型进行以下管理操作:
- 配置模型
在模型的基础上关联维度和定义的指标,以完善模型。相关操作说明请参见配置并发布模型。 - 搜索模型
在模型目录栏,输入模型名称关键词后,按回车键,可搜索符合条件的数据。 - 编辑模型
单击基础信息、配置信息等信息的编辑图标,可以修改相应的信息。 - 删除模型
单击页面右上角的删除按钮,弹出确认删除模型对话框,单击全部删除按钮,即可删除该模型。注意
删除模型后,其下创建的指标将一并删除,不可再使用,需谨慎操作。
- 查看历史版本
单击页面右上角的历史版本按钮,在弹出的窗口中,可以查看模型版本历史详情并执行以下操作:
- 单击其中一个版本操作列的查看按钮,可以查看该版本的模型详情。
- 单击其中一个版本操作列的恢复至草稿按钮,可以将该版本恢复至草稿后,重新发布。
- 勾选两条版本信息,单击版本对比按钮,可以对比两个版本的信息。
- 复制模型信息
单击页面右上角的**… > 复制模型信息**按钮,可复制模型基本信息以及已发布的指标和维度详情为json格式。
说明
LAS-Hive 模型是不开启数据查询的模型,故不支持发布,仅支持编辑、删除操作。