You need to enable JavaScript to run this app.
导航
校验规则配置
最近更新时间:2024.12.19 15:17:25首次发布时间:2023.06.26 15:15:19

DataFinder为您预置了常见的数据入库校验规则,当事件入库时不满足校验规则,则会拦截对应事件,同时DataFinder也支持您根据业务需要自定义数据校验规则,本文为您介绍创建自定义校验规则的配置要点。

注意事项
  • 当前仅私有化v4.4.1及以上版本支持。
  • 当前功能默认关闭,如果您希望使用自定义校验规则能力,可联系火山引擎技术支持人员开启功能。
  • DataFinder的预置校验规则详情请参见参考:预置数据校验规则,在创建自定义校验规则前,您可先查看预置校验规则是否满足业务需求。

新建自定义校验规则
  1. 登录并进入DataFinder控制台后,单击顶部导航栏的数据管理>数据治理>校验规则配置,进入校验规则配置页面后,单击右上角的新建校验规则按钮。
  2. 在弹出的页面中配置自定义校验规则参数。
    Image
    1. 配置基本信息。

      参数

      配置说明

      规则名称

      自定义规则名称,便于后续识别自定义的校验规则。

      规则类型

      当前支持事件量、事件属性校验、用户属性校验三类规则。

      • 事件量:校验一段时间内上报事件的数量的校验规则。
      • 事件属性校验、用户属性校验:校验事件/用户属性是否满足校验规则。

      校验对象 & 校验规则

      根据界面提示选择校验对象并配置校验规则,事件属性的校验规则需先指定事件再选择事件属性。事件校验规则和属性校验规则详情可参见下文的参考:校验规则说明章节。

      • 校验规则支持添加多条,多条校验规则间为“OR”的逻辑关系,即满足其中一条校验规则即可根据告警规则进行告警、数据拦截。
      • 支持对配置的每个校验规则配置过滤条件,多条过滤条件间为“AND”的逻辑关系。
    2. 配置告警设置。
      您可以根据需要选择是否需要打开校验规则的监控告警,打开后,后续数据入库时,如果不满足校验规则的异常数据达到一定数量后,则会根据告警规则触发告警消息。

  3. 数据拦截设置。您可以根据需要选择是否需要拦截异常数据,开启后,后续数据入库时,不满足校验规则的异常数据将根据拦截规则被拦截不会入库。
    Image

    说明

    事件属性/用户属性规则需配置,事件量规则无需配置。

开启、编辑、删除校验规则

自定义校验规则创建完成后,后续您可以在校验规则页面查看自定义校验规则列表,并支持对校验规则进行开启、关闭等操作。
Image

  • 关闭校验规则后,校验规则后续将不再生效。如果您不再希望进行相关的入库校验,可关闭对应的校验规则。
  • 已关闭的校验规则支持直接删除。
  • 已创建的校验规则可进行编辑修改操作,编辑修改仅支持修改校验规则的告警和拦截设置,校验规则不支持修改。
  • 您还可以在校验规则列表页面查看对应校验规则的告警条数、异常数据条数,单击对应数据即可查看详情。

参考:校验规则说明

事件量校验规则说明

事件量校验用于监控特定埋点的上报数据量,当事件上报量在特定时间范围内大于或小于某个条数时触发告警。
例如:订单支付事件在5分内超过10000条时告警。
校验的时间间隔可按分钟、小时、自然日划分,间隔最小10分钟。

属性校验规则说明

事件/用户属性可根据界面提示按需选择以下校验规则。

规则种类

规则说明

支持的属性数据类型

必传校验

表示该属性为必传字段,属性不上传(缺少key)或者为 null (缺少value)均为异常。

所有类型

枚举校验

可以输入该属性的所有枚举值,如果属性上报的值不在规则配置的枚举值中,则为异常。属性不上传或者为 null 不在异常范围内。

STRING、INT、LIST

正则匹配校验

可以输入该属性值应该匹配的正则表达式,如果不匹配,则为异常。属性不上传或者为 null 不在异常范围内。

STRING

区间校验

数值类型的字段可以定义该属性值的区间,如果属性上报的值不在此区间内,则为异常。属性不上传或者为 null 不在异常范围内。

INT,float

包含校验

属性值包含特定值的校验,如果上报的属性值不包含设置的特定值,则为异常。属性不上传或者为 null 不在异常范围内。

STRING、LIST

常见问题

Q1 校验规则适用于哪些情况?

校验规则用于管控数据质量,保障埋点上线后数据上报内容持续符合设计规范。
例如:“是否会员”属性值必传,且上报内容必须为0或1,则可以通过规则校验将没有上报“是否会员”属性或上报内容不正确的数据进行拦截和告警,及时通知研发人员修正。

Q2 数据校验告警与与看板监控功能有什么区别?

数据校验告警是对原始上报数据的监控告警,仅能够监测数据质量,无法监测指标(例如:点击率)。
看板监控是对构建入库的数据进行的监控告警(即:经过处理拦截的数据),适用于业务指标监测。