血缘图谱旨在帮助您分析数据对象的上下游关联关系,定位影响层级和任务依赖调度,可快速回溯和改动对其他对象的影响。
本功能支持通过可视化图表查看数据血缘图谱,您可以切换表视图、列视图和分区视图。其中表视图是查看表的上下游血缘图,列视图是查看表中的字段的上下游,分区视图是按时间段查看表的上下游血缘图。
1 前提条件
已创建数据表。相关操作说明可参见Table管理。
2 操作步骤
- 登录 DataLeap 控制台。
- 选择概览 > 数据地图 > 血缘图谱,进入血缘图谱页面。
- 在数据类型搜索框中输入表名关键词后,在显示的下拉列表中选择要查看的数据表,显示该表的血缘图。
支持按照全部类型、LAS表、EMR Hive表、ByteHouse CDW表、EMR StarRocks表、EMR Doris表等多种数据类型分别查询,下拉可选。
- 可执行以下查询操作:
- 表视图
- 范围x层:可以选择节点范围,包括层级(1层~5层)、上下游节点信息,即可在图中展示全部所选层级的上下游。
- 分组:可以分组显示节点信息,节点会按照选择的条件再分类成组合标签的提示框。
- 筛选:可以筛选一个或多个数据类型,展示相应的节点信息,缩小查找的节点范围。
- 属性展示:可选中一个或多个属性,展示在列表中。最多可同时展示3个属性。
- 右上方3个图标按钮分别是全屏、重置、下载CSV表格。
- 单击某一个节点,可以高亮该节点到主节点的链路,其他节点会置灰;再单击图交互区空白处,该节点可取消高亮。
- 单击某个节点,在右边的信息栏查看该表的节点信息和任务信息。在节点信息页面,还可以做以下操作:
- 单击查看表详情按钮,跳转到数据检索页面,查看该表的明细信息。
- 单击切换为主节点按钮,可以将非主节点的表切换为主节点进行展示。
- 列视图
- 主节点字段:可以展示一个或多个主节点字段的血缘关系。最多可同时展示5个。
- 范围x层:可以选择节点范围,包括层级(1层~5层)、上下游节点信息,即可在图中展示全部所选层级的上下游。
- 右上方3个图标按钮分别是全屏、重置、下载CSV表格。
- 单击某一个字段节点,可以高亮该节点到主节点的链路,其他节点会置灰;再单击图交互区空白处,该节点可取消高亮。
- 单击某个节点,在右边的信息栏查看其节点信息和任务信息。
- 分区视图
- 分区筛选:按照分区条件筛选,展示相应的信息。
- 可以查看范围(显示全部、只看上游或只看下游)、层级(1层~5层),即可在图中展示全部所选层级的上下游。层级范围下方的4个按钮分别是居中显示、放大、缩小、全屏/取消全屏。
- 可以输入关键词标记,以便搜索查找关键信息。
- 分类聚合:按照分类条件筛选,可以将同类型的信息展示在对应标签的提示框中。
- 单击某一个节点,可以高亮该节点和该节点的上下游,其他节点会置灰;再次单击该节点可取消高亮。也可以点住图交互区空白处不放,然后移动鼠标,交互图会随着鼠标平移。
- 单击某个节点,在右边的信息栏查看该表的节点信息和任务信息。
说明
- 血缘的更新频率为小时级,即每小时会将新的依赖关系更新到血缘图谱中。
- 关于 EMR StarRocks 类型的数据血缘解析,需注意以下两点:
- 有表血缘时,不一定有字段血缘,因为表血缘是可以通过任务的上下游依赖关系解析获取;字段血缘是直接通过用户写的SQL来解析的,当SQL解析失败时,便不能看到字段血缘信息。
- 目前仅普通 SQL 语句支持字段血缘解析,而有关 external catalog 的 SQL 暂不支持。