本文为您介绍如何查看并管理 ByteHouse CDW 表的数据详情。
1 前提条件
在搜索前,需要在数据地图 > 元数据采集页面新建采集器,将集群的元数据采集到数据地图。相关操作说明可参见元数据采集。
2 查看数据详情
- 登录 DataLeap 控制台。
- 选择概览 > 数据地图 > 数据检索,进入数据检索页面。
- 搜索数据后,进入数据详情页面。
- 可以查看数据详情,并进行数据管理。
- 位于页面顶部的各摘要信息
- 可以查看表名、元数据完善度等信息。其中,完善度计算方式为:负责人20%、表描述20%、字段描述30%(按字段填充比率折算)、业务域15%、层级15%。
- 可以查看点赞数、收藏人数,并单击相应图标点赞或收藏该表。
- 单击复制建表图标按钮,可以复制该表信息后打开建表页面,按需创建新的数据表。建表操作的相关说明可参见Table管理。
- 可快速查看登录账号是否有该表的操作权限。若没有,则页面显示权限申请按钮,可单击该按钮申请权限。申请权限的相关操作请参见权限申请。
- 表结构信息详情,包括表的明细信息、使用说明、血缘关系、评论问答等功能信息。
- 右侧信息栏的数据表基本信息,包括基础信息、业务信息和技术信息。
3 管理表结构信息
3.1 明细信息
- 登录 DataLeap 控制台。
- 选择概览 > 数据地图 > 数据检索,进入数据检索页面。
- 搜索数据表后,进入数据表详情页面。
- 单击明细信息页签,进入表的明细信息页面。
- 可以查看该表的字段信息和变更记录。
- 字段信息
在搜索框中,输入字段名称或描述的关键词,单击搜索框右侧的搜索图标,可以查看符合条件的信息。
单击编辑按钮,修改字段信息,单击保存按钮,二次确认后,完成修改。
参数 | 说明 |
---|
*英文名称 | 字段的英文名称,仅支持以字母、下划线开头,字母、数字、下划线的组合。 |
*字段类型 | 根据实际情况填写,支持多种类型,下拉可选。 |
*字段描述 | 字段的说明信息,以便后续管理,必填项。 |
默认值 | 字段的默认值,自行设定。
默认值可以为表达式或者常量,对于 String 或者 Time 类型的常量值,请在输入值时使用单引号,例如 'Hello Word' 和 '1970-01-01'。 |
是否可为空 | 可选择是否设置该字段可以为空。 |
说明
- 存量字段不可删除,且仅支持修改字段描述。
- 可新增字段,并需注意:
- 修改字段名称、类型前先通过血缘关系查看下游影响任务,并通知相关任务责任人进行相应修改,以防出现由修改造成的生成任务和下游依赖报错。
- 修改字段名称、类型后,可重新上线任务。
单击列表中某字段评论问答列的评论或问答按钮,在对应的评论问答页面中,可以填写评论信息或提出问题,单击提交按钮完成发布。页面中会展示最新发布的信息,您可以编辑或删除已发布的信息。
- 分区信息
设置搜索条件,可以查看符合条件的分区信息。
3.2 预览探查
- 登录 DataLeap 控制台。
- 选择概览 > 数据地图 > 数据检索,进入数据检索页面。
- 搜索数据表后,进入数据表详情页面。
- 单击预览探查页签,进入预览探查页面。
- 可以查看该表的若干条数据以及数据探查结果,并执行以下操作:
- 数据预览
可以预览当前表的数据,并执行以下操作:
- 单击隐藏列,可以隐藏/展示字段列表。当勾选某字段时,工作表中显示该字段;当取消勾选时,工作表中隐藏该字段。
- 单击搜索,在出现的搜索框中,输入信息关键词,按回车键,可以搜索对应信息。
- 全量探查
单击全量探查页面的探查按钮,可直接跳转至该表的新建探查页面,创建探查并生成探查报告。详细的操作说明请参见创建探查。
- 若数据未探查,则此处无法查看探查报告,需单击去探查按钮,创建探查。
- 若数据已探查,则可查看探查报告,并可单击我要探查按钮,创建新的探查。
注意
若您没有某数据表的读权限,则打开该表的预览探查页面时,会提示无权限,需申请后才可查看。
3.3 使用说明
本功能用于撰写数据表的使用说明文档,一般由表负责人撰写。相关操作步骤如下:
- 登录 DataLeap 控制台。
- 选择概览 > 数据地图 > 数据检索,进入数据检索页面。
- 搜索数据表后,进入数据表详情页面。
- 单击使用说明页签,进入添加使用说明页面。
- 单击编辑按钮,提示可以新增卡片页,单击页面左上角显示的加号 +,弹出新增标签窗口。
- 输入标签名后,单击确定按钮,增加相应的标签页。
- 从下拉列表中选择编辑工具,输入说明内容后,单击保存按钮,完成添加。
- 还可编辑和删除已添加的内容。
- 单击编辑按钮,标签页进入编辑状态。
- 可执行以下操作:
- 单击标签名称旁的编辑图标,可以修改标签名称。
- 单击标签名称旁的删除图标,二次确认后,删除标签页。
- 编辑说明内容。
- 单击保存按钮,完成编辑。
3.4 生产信息
- 登录 DataLeap 控制台。
- 选择概览 > 数据地图 > 数据检索,进入数据检索页面。
- 搜索数据表后,进入数据表详情页面。
- 单击生产信息页签,进入生产信息页面。
- 可以查看该表的运行信息和脚本信息,并执行以下操作:
- 运行信息
- 从下拉列表中选择任务,并设置运行时间段,可以查看该时间段内任务的运行情况。
- 单击运行列表中某条信息的任务名称或操作列的任务按钮,可以跳转到数据开发的任务配置页面。
- 单击运行列表中某条信息操作列的日志按钮,可以跳转到实例日志页面查看实例信息。
- 脚本信息
- 单击任务后的查看任务详情图标,可以跳转到数据开发的任务配置页面。
- 单击展开任务,可以查看任务的脚本信息。
3.5 血缘关系
用于查看该表的数据都由哪些表计算得到,即该表的上游血缘,以及该表的数据又用于计算生成了哪些表格,即该表的下游血缘,并进行相应的管理。血缘有表格视图、可视化图表两种展示方式。
3.5.1 表格视图
- 登录 DataLeap 控制台。
- 选择概览 > 数据地图 > 数据检索,进入数据检索页面。
- 搜索数据表后,进入数据表详情页面。
- 选择血缘关系 > 表格视图页签,进入血缘关系的表格视图页面。
- 可执行以下操作:
- 设置查看条件,查看符合条件的数据,包括数据资产节点、字段、血缘层级、节点负责人、任务名称、任务负责人等信息。
- 筛选粒度:包含表、字段、分区。
- 查看范围:包含查看全部、仅为上游、仅为下游。
- 层级:建议≤20层。
- 搜索:可输入表名、任务名等,查到具体对象。
注意
- 血缘的更新频率为小时级,即每小时会将新的依赖关系更新到血缘关系中。
- 若血缘无法自动解析或解析不准确,可通过在数据开发 > 任务开发 > 调度设置页面手动登记的方式进行补充。
- 单击右侧的下载信息按钮,将列表中的节点数据保存成csv格式本地浏览使用。
- 设置快速通知
- 勾选一条或多条列表中的节点数据,单击右侧的快速通知按钮,弹出快速通知窗口。
- 配置通知信息,单击通知按钮,弹出确认通知对话框。
- 单击确定按钮完成设置。当上下游节点表变更信息时,系统会将通知发送到目标用户登记的邮箱中。
说明
仅表的负责人可设置快速通知,当前仅支持“邮件”通知方式。
3.5.2 可视化图表
可视化图表分为表视图、列视图、分区视图三种显示方式。
- 登录 DataLeap 控制台。
- 选择概览 > 数据地图 > 数据检索,进入数据检索页面。
- 搜索数据表后,进入数据表详情页面。
- 选择血缘关系 > 可视化图表页签,进入血缘关系的可视化图表页面。
- 可执行以下查询操作:
- 表视图
- 范围x层:可以选择节点范围,包括层级(1层~5层)、上下游节点信息,即可在图中展示全部所选层级的上下游。
- 分组:可以分组显示节点信息,分组结果会在图中展示。
- 筛选:可以筛选一个或多个数据类型,展示相应的节点信息,缩小查找的节点范围。
- 属性展示:可选中一个或多个属性,展示在列表中。最多可同时展示3个属性。
- 右上方3个图标按钮分别是全屏、重置、下载CSV表格。
- 单击某一个节点,可以高亮该节点到主节点的链路,其他节点会置灰;再单击图交互区空白处,该节点可取消高亮。
- 可以单击表名称,在右边的信息栏查看该表的节点信息和任务信息。在节点信息栏,还可以做以下操作:
- 单击查看表详情按钮,跳转到数据检索页面,查看该表的明细信息。
- 单击切换为主节点按钮,可以将非主节点的表切换为主节点进行展示。
- 列视图
- 主节点字段:可以展示一个或多个主节点字段的血缘关系。最多可同时展示5个。
- 范围x层:可以选择节点范围,包括层级(1层~5层)、上下游节点信息,即可在图中展示全部所选层级的上下游。
- 右上方3个图标按钮分别是全屏、重置、下载CSV表格。
- 单击某一个字段节点,可以高亮该节点到主节点的链路,其他节点会置灰;再单击图交互区空白处,该节点可取消高亮。
- 可以单击表名称,在右边的信息栏查看该表的节点信息和任务信息。在节点信息栏,还可以做以下操作:
- 单击查看表详情按钮,跳转到数据检索页面,查看该表的明细信息。
- 单击切换为主节点按钮,可以将非主节点的表切换为主节点进行展示。
- 分区视图
- 可以查看范围(显示全部、只看上游或只看下游)、层级(1层~5层),即可在图中展示全部所选层级的上下游。层级范围下方的4个按钮分别是居中显示、放大、缩小、全屏/取消全屏。
- 可以输入关键词标记,以便搜索查找关键信息。
- 分类聚合:按照分类条件筛选,可以将同类型的信息展示在对应标签的提示框中。
- 单击某一个节点,可以高亮该节点和该节点的上下游,其他节点会置灰;再次单击该节点可取消高亮。也可以点住图交互区空白处不放,然后移动鼠标,交互图会随着鼠标平移。
- 可以单击表名称,在右边的信息栏查看该表的节点信息和任务信息。
3.6 评论问答
本功能支持查看该表的评论问答信息,也支持发布评论、提问信息。
- 登录 DataLeap 控制台。
- 选择概览 > 数据地图 > 数据检索,进入数据检索页面。
- 搜索数据表后,进入数据表详情页面。
- 单击评论问答页签,进入评论问答页面。
- 可执行以下操作:
- 在搜索框中,搜索评论问答对象,并单击要查看的对象,可以分类查看该表的评论问答信息。
- 单击评论按钮,可以填写评论信息。
- 单击我要提问按钮,可以向负责人提出问题。
- 编辑或删除自己创建的评论问答信息。
鼠标悬停在某条信息上,单击显示的相应图标按钮,可以编辑或删除该条信息。
4 管理表基本信息
登录 DataLeap 控制台。
选择概览 > 数据地图 > 数据检索,进入数据检索页面。
搜索数据表后,进入数据表详情页面。
可以查看表的基础信息、业务信息等信息,并可将鼠标悬停在某参数上,单击显示的编辑图标,修改参数信息后,单击确定图标,完成修改。
说明
- 鼠标悬停时,只有能显示编辑图标的参数,才可编辑。
- 仅 ByteHouse CDW 表的负责人可编辑自己负责的数据表。
数据表信息相关参数说明如下表所示。
参数 | 说明 |
---|
基础信息 |
中文名 | 该元数据的中文名称,可编辑。 |
描述 | 元数据的描述信息,不可编辑。 |
负责人 | 该元数据的负责人,不可编辑。 |
业务线 | 该元数据所属的业务线,可编辑,下拉可选已创建的业务线。 |
数据层级 | 数据表所在的层级,可编辑,支持以下选项,下拉可选。支持通过搜索层级名称关键词快速选择。 - 基础数据层(ods)
- 数据整合层(dwi)
- 基础维度层(dim)
- 明细数据层(dwd)
- 中间数据层(dwm)
- 数据服务层(dws)
- 数仓应用层(dwa)
- 数据集市层(dm)
- 应用服务层(ads)
- 应用层(app)
|
数据分类 | “资产目录”中,指定业务线下的文件目录名称,用于资产门户构建。可编辑,下拉可选已创建的数据分类。
选择业务线后,才可设置该参数。 |
项目 | 数据表所属的项目,可编辑,下拉可选已创建的项目。 |
是否核心 | 显示该表是否为核心,可编辑。 |
评论问答 | 数据表的评论问答信息,不可编辑。 |
查询次数 | 最近30天查询该表的次数,T+1更新。 |
业务信息 |
业务域 | 元数据所属的业务域,可编辑,下拉可选已创建的业务域。
支持通过搜索业务域名称关键词快速选择。 |
产品线 | 元数据所属的产品线,可编辑,下拉可选已创建的产品线。
支持通过搜索产品线名称关键词快速选择。 |
主题 | 元数据所属的主题,可编辑,下拉可选已创建的主题。
支持通过搜索主题名称关键词快速选择。 |
自定义标签 | 为元数据设定的标签,可编辑,支持以下两种设置方式: - 下拉可选已有标签,支持通过搜索标签关键词快速选择。
- 自行设置标签:手动输入标签后,在下拉列表中选择该标签。
|
业务术语 | 元数据所关联的业务术语,可编辑,下拉可选已创建的业务术语。
支持通过搜索业务术语名称关键词快速选择。 |
安全信息 |
保密级别 | 表的保密级别,可编辑,有L1、L2、L3和L4四个选项可选。不同保密级别对应不同的审批流程。 |
权限负责人 | 表的数据安全权限负责人,可编辑,支持设置多个。
该权限负责人仅展示表权限负责人,行/列权限负责人可前往数据安全 > 权限管理 > 权限设置进行查看、变更等操作。 |
库权限负责人 | 该表所属数据库的权限负责人,不可编辑。 |
我的权限 | 当前登录账号对该表可执行的操作权限,不可编辑。 说明 仅具备读写权限的账号可以编辑元数据信息,主账号默认拥有所有数据的访问权限。 |
技术信息(仅可查看) |
库名 | 显示该表所属数据库的名称。 |
主键 | 即主关键字,是表中的一个或多个字段,它的值用于唯一的标识表中的某一条记录。该字段创建表时配置,此处不可编辑。 |
是否分区 | 显示数据表是否设置分区。 |
分区键 | 显示数据表的分区键。 |
生命周期 | 元数据的生命周期。 |
唯一键 | 显示数据表的唯一键。 |
逻辑表大小 | 显示对应逻辑表的大小。 |
创建时间 | 显示表的创建时间。 |
更新时间 | 显示表最近的更新时间,编辑数据源其他信息后该字段会自动更新。 |