DataFinder为您预置了常见的数据入库校验规则,当事件入库时不满足校验规则,则会拦截对应事件,同时DataFinder也支持您根据业务需要自定义数据校验规则,本文为您介绍创建自定义校验规则的配置要点。
配置基本信息。
参数 | 配置说明 |
---|---|
规则名称 | 自定义规则名称,便于后续识别自定义的校验规则。 |
规则类型 | 当前支持事件量、事件属性校验、用户属性校验三类规则。
|
校验对象 & 校验规则 | 根据界面提示选择校验对象并配置校验规则,事件属性的校验规则需先指定事件再选择事件属性。事件校验规则和属性校验规则详情可参见下文的参考:校验规则说明章节。
|
配置告警设置。
您可以根据需要选择是否需要打开校验规则的监控告警,打开后,后续数据入库时,如果不满足校验规则的异常数据达到一定数量后,则会根据告警规则触发告警消息。
说明
事件属性/用户属性规则需配置,事件量规则无需配置。
自定义校验规则创建完成后,后续您可以在校验规则页面查看自定义校验规则列表,并支持对校验规则进行开启、关闭等操作。
事件量校验用于监控特定埋点的上报数据量,当事件上报量在特定时间范围内大于或小于某个条数时触发告警。
例如:订单支付事件在5分内超过10000条时告警。
校验的时间间隔可按分钟、小时、自然日划分,间隔最小10分钟。
事件/用户属性可根据界面提示按需选择以下校验规则。
规则种类 | 规则说明 | 支持的属性数据类型 |
---|---|---|
必传校验 | 表示该属性为必传字段,属性不上传(缺少key)或者为 null (缺少value)均为异常。 | 所有类型 |
枚举校验 | 可以输入该属性的所有枚举值,如果属性上报的值不在规则配置的枚举值中,则为异常。属性不上传或者为 null 不在异常范围内。 | STRING、INT、LIST |
正则匹配校验 | 可以输入该属性值应该匹配的正则表达式,如果不匹配,则为异常。属性不上传或者为 null 不在异常范围内。 | STRING |
区间校验 | 数值类型的字段可以定义该属性值的区间,如果属性上报的值不在此区间内,则为异常。属性不上传或者为 null 不在异常范围内。 | INT,float |
包含校验 | 属性值包含特定值的校验,如果上报的属性值不包含设置的特定值,则为异常。属性不上传或者为 null 不在异常范围内。 | STRING、LIST |
校验规则用于管控数据质量,保障埋点上线后数据上报内容持续符合设计规范。
例如:“是否会员”属性值必传,且上报内容必须为0或1,则可以通过规则校验将没有上报“是否会员”属性或上报内容不正确的数据进行拦截和告警,及时通知研发人员修正。
数据校验告警是对原始上报数据的监控告警,仅能够监测数据质量,无法监测指标(例如:点击率)。
看板监控是对构建入库的数据进行的监控告警(即:经过处理拦截的数据),适用于业务指标监测。