模板意在定义监控校验规则,方便后期复用。数据质量支持 EMR、LAS 等多种引擎类型的模板规则,其中 EMR 集群需上传 Jar 包后才可正常使用。本文将为您介绍如何配置 EMR 模板规则。
EMR 引擎上传 Spark Jar 包后才能正常使用。若没有上传,当选择相应 EMR 引擎时,系统会弹窗提示您上传,操作如下:
说明
Spark Jar 包上传成功后,即可创建规则,操作如下:
单击 +Hive监控对象按钮,在弹出的窗口中,设置监控对象信息。
单击确定按钮,对象添加成功并显示在监控对象列表中。
单击该监控对象的新建规则按钮,进入该对象的新建监控规则页面,设置规则信息。
规则参数设置情况如下表所示。欲了解其他配置情况的详细介绍可参见配置Hive模板规则。
参数 | 说明 |
---|---|
新建监控规则 | |
*选择分区 | 根据表的现有分区,自动识别,可编辑。 |
规则配置 | |
*规则类型 | 下拉选择表行数。 说明 表行数是指计算该分区下的表行数,通常用于校验任务完成后产出的分区数据为空的异常情况,或者根据自己需求检验表行数的一些波动情况。表行数的计算定义:count(*) |
*规则名称 | 监控规则名称,自动填充,格式为规则类型_创建日期_创建时间,可编辑。 |
*报警条件 | 设置为 数值=0。 说明 数值即定义的计算指标本身,如sum(money)、count(*)等,该指标会直接跟设定的阈值做对比,判断是否报警。例如:
|
执行方式 | |
*执行方式 | 监控规则的执行方式,选择定时调度,即自行设置监控规则的执行时间。 |
*执行频率 | 任务监控规则执行频率,选择分钟级。 |
*执行时间 | 具体的执行时间,时间间隔选择 10,执行时刻设置为 0。 |
报警设置 | |
*报警渠道 | 选择短信。 说明 当选择短信报警时,默认会发送邮箱+站内信。 |
*报警对象 | 选择接收报警的用户,选择当前用户。 |
*报警发送 | 报警发送次数设置为 1。 |
*发送间隔 | 报警发送的间隔时间,设置为 5 分钟。 |
*报警免打扰 | 选择关闭。 |
单击完成并试跑按钮,在弹出的窗口中选择试跑时间后,单击确定按钮,完成规则创建并直接试跑调试。