模板意在定义监控校验规则，方便后期复用。

1 前提条件

• 已在概览页面购买大数据分析、湖仓一体、DataOps 敏捷研发或分布式数据自治解决方案。
• 已购买 EMR、LAS 或 EMR_SERVERLESS_SPARK 引擎服务，才可使用相应引擎功能。
• EMR 引擎上传 Spark Jar 包后才能正常使用。
  若没有上传，当选择相应 EMR 引擎时，系统会弹窗提示您上传，操作如下：
  1. 在引擎下拉列表中，选择 EMR 引擎和对应的实例，弹出作业程序包未上传提示窗口。
     
  2. 单击确定按钮上传程序包，等待几秒钟，待系统弹出上传成功的提示，则表示上传成功。

  说明

  • 具备 EMR 引擎的根目录读写权限的账号才能执行上传操作，主账号默认具备该权限。
  • 在数据监控、数据探查或数据对比页面选择 EMR 引擎实例后，系统都会进行 Spark Jar 的扫描，可通过任一入口进行上传，上传成功一次即可。

2 创建规则

1. 登录 DataLeap 控制台。
2. 选择数据质量 > 数据监控 > 离线数据监控 > 监控对象，直接进入监控对象的模板规则页面。
3. 在页面右上角的项目下拉列表中，选择要管理的项目。
4. 在引擎下拉列表中，选择要配置的引擎和对应的实例。
5. 创建监控对象。
   1. 单击 +Hive监控对象按钮，在弹出的窗口中，设置监控对象信息。
   2. 单击确定按钮，对象添加成功并显示在监控对象列表中。
      
6. 创建监控规则。
   1. 单击某个监控对象的新建规则按钮，进入该对象的新建监控规则页面。
   2. 设置规则信息后，单击完成或者完成并试跑按钮，完成规则创建。
      • 单击完成按钮，完成规则创建。
      • 单击完成并试跑按钮，在弹出的窗口中选择试跑时间后，单击确定按钮，完成规则创建并直接试跑调试。

创建模板规则相关参数说明如下表所示。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

3 管理规则

对已创建监控规则的监控对象，可进行相应的管理操作，步骤如下：

1. 登录 DataLeap 控制台。
2. 选择数据质量 > 数据监控 > 离线数据监控 > 监控对象，直接进入监控对象的模板规则页面。
   
3. 在页面右上角的项目下拉列表中，选择要管理的项目。
4. 可执行以下操作：
   • 设置搜索信息，搜索符合条件的监控对象。
   • 将鼠标悬停在列表中某个监控对象所在行最新报警条数上，会显示该监控的最新报警信息，单击某个报警信息的查看按钮，在结果详情页面，可以查看该规则报警的详细信息并执行以下操作：
     • 单击查看规则按钮，可以查看该规则的详情信息。
     • 单击运行日志按钮，可以查看该规则的监控运行日志。
     • 单击 ... > 执行记录按钮，可以查看检测执行记录。
     • 单击 ... > 查看SQL按钮，可以查看该规则检测当日的SQL执行语句。
     • 单击 ... > 重跑按钮，二次确认后，可以重跑该次监控规则。
   • 单击列表中某个监控对象所在行的 ... > 删除对象按钮，二次确认后，可删除该对象及其下所有规则。
   • 单击列表中某个监控对象所在行的 ... > 添加分区按钮，在弹出的窗口中，设置分区信息，可以为该对象添加新的分区。
   • 单击某个对象分区操作列的新建规则按钮，在新建规则页面中，可按需增加一条监控规则。
   • 单击某个对象分区操作列的修改表达式按钮，在弹出的窗口中，修改分区表达式信息。
   • 单击某条规则名称操作列的查看SQL 按钮，可以查看规则的SQL语句。
   • 单击某条规则名称操作列的编辑按钮，在编辑规则页面中，可以修改其规则信息。
   • 单击某条规则名称操作列的 ... > 查看按钮，在规则详情页面，可以查看规则配置和试跑记录，还可以复制规则、试跑、重跑已有记录等。
   • 单击某条规则名称操作列的 ... > 试跑按钮，在弹出的窗口中，设置试跑时间，可以开启新的试跑。
   • 单击某条规则名称操作列的 ... > 开启/关闭按钮，在弹出的确认对话框中，单击确定按钮，可以开启/关闭该规则。
   • 单击某条规则名称操作列的 ... > 删除按钮，在弹出的确认对话框中，单击确定按钮，可以删除该规则。
   • 单击某条规则名称操作列的 ... > 分享链接按钮，可以复制相应对象的链接。
   • 单击某条规则名称操作列的 ... > 复制按钮，在复制规则页面，可以编辑已复制的规则信息。
   • 单击某条规则名称操作列的 ... > 查看7天结果按钮，跳转到运行结果页面，查看该规则截止到操作当天的7天监控结果。
   • 单击某条规则名称操作列的 ... > 转让owner 按钮，在弹出的窗口中，可以选择将规则转让给新的owner。
   • 勾选一条或多条规则后，单击对应的按钮，执行批量操作。
     • 批量开启/关闭
     • 批量试跑
     • 批量删除
     • 批量修改报警
     • 批量转让owner
     • 批量修改规则强弱

4 后续操作

规则运行后，您可到运行结果页面查看该规则的运行结果，查看报警情况，查找并分析问题。管理规则运行结果的相关操作说明请参见管理运行结果。

附录A：规则说明

A.1 动态阈值使用说明

创建模板规则过程中，当规则类型选择表行数时，可以配置动态阈值报警。
动态阈值可以根据历史分区的数据来预测下一个分区的行数范围，如果新分区的行数不在这个区间范围内会发出报警。
分析发现，表行数的数据分布主要有以下几种分布形态：

动态阈值在上述A、B、C、D四种分布上效果更佳。因此，开启动态阈值报警前，建议先查看一下历史表行数的数据走势，以判断该报警条件是否适用。

A.2 Webhook 使用说明

创建监控规则过程中，当您选择 Webhook 报警方式时，需注册 Webhook URL，后续报警会发送到注册的 URL。您可以根据 URL 的请求，制定后续的问题处理流程。

A.2.1 WebHook 配置

1. 从报警方式下拉列表中，选择 Webhook。
2. 配置 WebHook：从下拉列表中选择 http 或 https 后，填写 hookUrl。
   URL 地址示例如下：

   volc_quality_test.volcwebhook.xxx/xx/webhook
   

A.2.2 hookUrl 验证

输入 hookUrl 后，单击显示的验证按钮进行验证。
验证时，会给 hookUrl 发送带 challenge 的请求，challenge 为随机整数。接到请求后需要将 challenge 原样返回，才可验证通过。验证示例如下：

• 验证的 Request body

  {
      "source": null
      "region": null
      "type": null
      "rule_name": null
      "callback_url": null
      "target_type": null
      "target": null
      "content": null
      "event_time": "2020-03-01 00:00:00", // 报警时间，消息通知时间
      "owners": null
      "challenge": 1230201 // 随机整数
  }
  

• Response body 示例

  {
      "status": 0,  //状态码，0
      "data": {
          "challenge": 1230201 // 传递原来的数值           
      }
  }
  

A.2.3 Webhook 请求

配置 URL 告警时会给 URL 地址发送请求，具体样例如下：

• Request body 示例

  {
      "source": "quality",  // 源系统的中文名称
      "region": "cn",     // 源系统的部署环境
      "type": 1,          // 报警/消息：枚举值：1、报警   2、消息
      "rule_name": "xxx_rule",       // 源系统中产生事件的规则名称
      "callback_url": "url_to_rule", // 源系统中产生事件的规则回调地址URL
      "target_type": "table",        // 区分描述对象的大类，比如：任务、数据库、表
      "target": "test_tb",           // 描述具体的事件对象，一般信息包含：对象名称及具体名称值
      "content": "alarm content",    // 描述发生事件的具体内容，即为：报警内容 或 通知内容
      "event_time": "2020-03-01 00:00:00", // 报警时间，消息通知时间
      "owners": "test,test2"         // 此次事件的直接负责人
      "challenge": null
  }
  

• Response body 示例

  {
      "status": 0,  //状态码，0
      "data": null
  }
  

A.2.4 网络要求

要确保消息服务能够访问 hookUrl 的网络，对 hookUrl 的 IP/域名网络说明如下：

• 若 IP/域名位于公网或公共服务区，则可以访问。
• 若 IP/域名位于售卖区私网，则需要注册 shuttle server 后，通过 shuttle 转发才可访问。

  说明

  需要提供服务 vpc id、IP、port，联系租户管理员注册 shuttle server。