规划方案执行后,您便可在方案结果中,查看规划方案的明细、进展、待治理资产数量和治理规则详情等信息。
1 使用前提
- 已创建相应规划方案,详见规划方案。
- 已购买 DataLeap 分布式数据自治服务。详细操作说明请参见 DataLeap 服务信息。
2 查看方案结果页
2.1 进入方案结果详情
- 登录 DataLeap 控制台 。
- 在概览界面,选择数据治理 > 规划诊断 > 规划方案, 进入规划方案列表管理页面。
- 在方案列表中,找到您想查看结果明细的方案,单击方案结果列中的查看按钮,进入方案结果页面。
2.2 查看方案结果
在方案结果页面,您可查看以下方案明细与进展:
说明
探查态的方案结果页面,部分操作受限,如需完整的治理操作,您可进行以下操作:
- 当创建方案时,若存在必填项未填写时,您可单击右上角的完善方案按钮,前往方案编辑界面,将未填写的必填项信息补充完整后,单击开启方案,完成方案的整体创建。
- 若创建方案时,所有必填项信息均已填写完成,则在探查态的方案结果页中,可直接单击右上角开启方案按钮,完成规划方案的开启。
2.2.1 方案完成进度统计
依据圈选的治理域范围,整体展现该规划方案中治理的进展情况。
待治理数量:统计当前在治理域范围内,待治理的资产数量。
时间进度:(当前日期-方案开始时间)/方案总时长。
当前进度:当前已治理的表和任务的数量/需要治理的表和任务总数。
根据设定的治理方案目标,统计目前治理情况:
治理场景 | 治理目标说明 |
---|
存储治理 | - 物理存储变化量:【方案发起日】物理存储 -【方案结束日,若没结束,按当前日期】物理存储。
- 已治理收益:包含平台操作收益和手工标记收益,详细您可查看方案进展中操作收益明细。
|
计算治理 | - cpu 日均节约:每次操作(关闭/上线任务)节约的 cpu 累计值(操作节约量:操作前后近7日日均 cpu 的 diff 值)。
- mem 日均节约:每次操作(关闭/上线任务)节约的 mem 累计值(操作的节约量:操作前后近7日日均mem的 diff 值)。
- 运行时长节约:每次操作(关闭/上线任务)节约的运行时长(操作的节约量:操作前后近7日日均运行时长的diff值)。
- 优化/下线任务数:任务的治理状态为已治理的数量(方式:通过任务操作和手动标记)。
说明 - 6月份之后创建的 EMR 集群的任务可以获取到任务的 cpu&mem 消耗信息,之前的存量集群目前无法获取。
- 当前无法获取到 cpu&mem 消耗信息的任务类型:Flink 任务、MR 任务和 PySpark 任务。
|
质量治理 | - 表治理数量:表的治理状态为已治理的数量(方式:通过表操作和手动标记)。
- 任务治理数量:任务的治理状态为已治理的数量(方式:通过任务操作和手动标记)。
|
2.2.2 规则/负责人分析
在不同治理场景下,您可在规则/负责人分析处,依据不同的治理规则,查看各规则/负责人下所需治理的明细情况。
治理场景 | 治理明细说明 |
---|
存储治理 | 存储治理下的不同方案目标,可查看以下分析明细: - 方案目标:释放物理存储、优化表数量。
- 规则分析:展现方案创建时指定的治理规则、物理存储、预计节约等数据统计。
- 负责人分析:统计对应的任务/表owner、预计节约存储、待治理数量,存在待治理数量时,表示该资产未治理完成。
- 方案目标:健康分
- 规则分析:展现方案创建时指定的治理规则、物理存储、预计节约等数据统计。
- 负责人分析:展示表负责人、存储健康分、待治理数量信息。
说明 预计节约是指根据规则配置的操作计算: - 修改 TTL:根据推荐的 TTL,计算可节约的存储;
- 删除表,表存储大小为可节约的存储。
若推荐操作为多个,则取节约的最大值。 |
计算治理 | 计算治理下的不同方案目标,可查看以下分析明细: - 方案目标:节约 cpu/mem 日均使用量、优化/下线任务数量等治理目标。
- 规则分析:展现方案创建时指定的治理规则、mem7日均消耗、cpu7日均消耗等数据。
- 负责人分析:统计对应的任务/表owner、mem7日均消耗、待治理数量。
- 方案目标:健康分
- 规则分析:展现方案创建时指定的治理规则、mem7日均消耗、vcore7日均消耗等数据。
- 负责人分析:展示表负责人、计算健康分、待治理数量信息。
|
质量治理 | 质量治理下的不同方案目标,可查看以下分析明细: - 方案目标:治理资产数量
- 规则分析:展现方案创建时指定的治理规则、待治理数量数据。
- 负责人分析:展示资产负责人、待治理数量数据。
|
2.2.3 方案明细
在右侧方案明细页签上,不同的适用场景,您可查看任务/表不同的治理明细信息,并进行相应的资产治理操作。
创建通知:单击方案明细列表上方的创建通知按钮,可配置给相关用户/角色,通过邮件方式发送治理通知。
操作项 | 说明 |
---|
通知对象 | 您可发送治理通知给相关用户和角色: - 用户:可为指定的用户发送整个方案的资产治理通知,支持配置多个接收者。
- 角色:只发送给对应表负责人/任务负责人的资产治理通知。
|
执行频率 | 支持选择每天重复、每工作日重复或自定义重复发送通知类型。 |
执行时间 | 指定执行发送通知的具体时间。 |
适用场景为存储治理:
- 在治理数据筛选方面,您可进行以下操作:
- 您可通过下拉的方式,选择数据类型(包含 EMR Hive 和 LAS 类型)治理规则、治理状态,来进行治理明细数据的筛选。
- 您也可以通过输入表名称和负责人信息来搜索需治理的数据。
- 在治理明细的列表中,您可进行以下操作:
- 单击表名称信息,可跳转前往数据地图,查看需治理表的详情。
- 当需治理的表过多时,您可以单击预计节约资源、逻辑存储、物理存储列中的排序操作,支持升序、降序的方式来展现。
- 单击操作列中的生命周期按钮,支持按分区名称、按分区更新时间或按分区创建时间,来配置生命周期。配置操作详见资源优化-3.4 治理操作。
- 单击操作列中的删除按钮,支持将需治理的数据表删除。
注意
删除数据表对当前表和下游表的任务、用户都将产生一定的影响,请谨慎操作。
- 单击操作列中的表管理按钮,对其层级、中文名、描述等信息进行设置。
- 单击操作列中的标记治理按钮,选择待治理的规则及输入治理方法,可将资产对应的规则标记为已治理。
- 单击操作列中的设置白名单按钮,选择对应待治理的规则、白名单截止时间、并按照实际场景填写申请白名单的理由。
说明
- 在白名单截止时间内,该资产在对应规则下无需治理。
- 目前白名单的生效范围为治理方案,不包含治理概览的健康分。
- 批量操作:勾选多个需治理的表,您可对其进行批量设置TTL、批量删除、批量修改层级、批量标记等操作。
适用场景为计算治理:
- 在治理数据筛选方面,您可进行以下操作:
- 您可通过方案的数据类型(包含 EMR Hive 和 LAS 类型)治理规则、治理状态,下拉选择符合要求的治理数据。
- 您也可以通过输入任务名称和负责人信息来搜索需治理的数据。
- 在治理明细的列表中,您可进行以下操作:
- 单击任务名称信息,可跳转前往数据开发界面,查看任务的详情。
- 当需治理的任务过多时,您可以单击men7日平均消耗、cpu7日平均消耗、实例平均运行时间列中的排序操作,支持升序、降序的方式来展现。
- 单击操作列中的任务关闭按钮,将待治理的任务手动进行关闭操作。
注意
关闭任务对当前任务、下游任务、任务上的质量监控和其用户都将产生一定的影响,请谨慎操作。
- 单击操作列中的标记治理按钮,选择待治理的规则及输入治理方法,可将资产对应的规则标记为已治理。
- 单击操作列中的设置白名单按钮,选择对应待治理的规则,白名单截止时间,并按照实际场景填写申请白名单的理由。
说明
- 在白名单截止时间内,该资产在对应规则下无需治理。
- 目前白名单的生效范围为治理方案,不包含治理概览的健康分
- 单击操作列中的运行监控按钮,跳转前往数据开发 > 任务运维界面,进行任务运行监控的设置,您可为任务添加新的监控或者直接使用已有的监控规则。
- 当治理任务已添加至某条基线时,您可单击操作列中的编辑基线按钮,将跳转前往数据开发 >任务运维 > 基线管理界面,进行基线相关的操作。
注意
项目下拥有管理员、开发者或复查人角色时,可操作任务关闭、标记治理、运行监控等治理按钮。
- 批量操作:勾选多个需治理的任务,您可对其批量进行运行监控、批量关闭、批量标记等操作。
注意
必须是同一项目下且都是流式或离线的任务,才可批量关闭任务。
适用场景为质量治理:
- 在治理数据筛选方面,您可进行以下操作:
- 您可通过选择任务明细或表明细,直接查看需治理的资产数据,其中表明细数据类型为 EMR Hive 和 LAS 表数据类型。
- 您也可通过方案的数据类型(包含 EMR Hive 和 LAS 类型)治理规则、治理状态,下拉选择符合要求的治理数据。
- 通过输入任务名称和负责人信息,也可来搜索需治理的数据。
- 在治理明细的列表中,针对任务明细或表明细资产数据的操作,您可参考上方计算治理或存储治理时的操作内容。
2.2.4 方案进度
单击方案进度页签,您可查看以下治理方案每日进展:
- 查看方案目标每日进展的趋势变化图,其中在计算治理进度趋势中,您还可通过资源变化量、资源使用量、进度趋势等方向,来查看每日进度趋势图。
- 不同治理场景,您可通过搜索表名称(存储治理)、任务名称(计算治理)、资产名称(质量治理)和操作人信息,来查看治理的操作明细。
2.2.5 方案视图
使用场景:例如电商数仓团队根据产品线划分了不同小组,因各小组的存储情况不同,治理负责人需要对不同的小组进行对应的治理运营策略,并且需要统计各小组治理情况以及电商整体的治理效果。
数据治理平台为您提供以下解决方案:
- 在规划方案结果详情页,单击上方的筛选按钮,根据不同的标签/维度(如:项目、数据团队等,支持添加多个条件)进行筛选,来筛选出符合您需要查看的方案视图。
- 筛选完成后,单击确定按钮,完成方案视图筛选。
- 单击右侧另存为新视图按钮,输入视图名称,您也可以在另存为时,添加更多的筛选条件,如:项目、状态、任务类型等维度,来保存各小组对应的方案视图,单击确定按钮,完成视图保存。
- 视图保存完成后,您可在系统视图处,下拉选择已保存成功的其他视图,各小组可查看属于自己的治理视图详情。
- 在各个方案视图下,也可创建不同消息通知,以及查看治理效果。
- 单击方法文档右侧的编辑按钮,您可将此视图,此治理场景下的优化方法文档填写于此,用以指导资产负责人进行治理操作。
- 当统计电商整体的治理效果时,可切换为系统视图(无筛选条件)下,查看整体进展及收益。
2.2.6 历史版本方案结果
已经运行过的规划方案,支持您查看历史版本每次运行的结果。
在方案结果页面中,单击历史版本按钮,在弹窗中进行历史方案结果的查看:
- 在弹窗左侧,抽屉式的展示历史所有执行版本,您可通过以下几个方式按需查看:
- 运行时间:通过方案的运行时间,查看当时的方案结果。
- 触发机制:方案支持手动触发、例行诊断的触发机制来进行区分查看。
- 运行状态:您也可通过运行中、运行成功、运行失败等状态来区分。
- 历史方案明细:
- 数据时间:方案执行时,方案使用的数据业务时间。
- 资产范围详情:单击详情按钮,查看方案配置的资产范围内容。
- 治理规则详情:单击详情按钮,查看治理规则名称,单击查看规则按钮,您可查看具体的规则范围、条件等内容。
- 资产明细:
- 筛选器:您可通过 EMR Hive、LAS 表名称、任务名称、治理规则等维度进行筛选资产明细。
- 资产详情:展示历史方案执行中,需治理的 EMR Hive、LAS 表名称、任务名称和治理规则所属等信息。