You need to enable JavaScript to run this app.
导航
增长分析 DataFinder
  • 文档首页
    • /增长分析 DataFinder/数据分析与治理/数据管理/数据治理/数据入库明细（原数据质量）
数据入库明细（原数据质量）
最近更新时间：2024.11.28 20:11:41首次发布时间：2024.04.30 15:17:20
我的收藏

数据入库明细（原数据质量）用于了解项目内数据上报后入库情况的模块，能够快速查看当前项目入库/抛弃事件数量，统计命中各类错误类型的事件数量，并能够查看数据详细日志。

配置入库异常监控告警

DataFinder支持配置入库异常监控告警，配置完成后，后续数据入库异常时，会根据告警规则触发告警消息。

说明

  • 监控告警配置结果会影响后续数据入库时的告警消息，不配置监控告警的话，虽然不会触发监控告警，但是您仍然可以在入库校验明显页面主动查看异常数据信息。
  • 当前支持校验并告警的数据包括：事件（不含虚拟事件）、事件属性、用户属性数据。
  • 监控任务创建完成后，大约10分钟左右会生效。

  1. 单击页面右上角的创建监控告警按钮，在弹出的页面中配置监控告警参数。
    Image

  2. 监控配置。根据界面提示，配置监控对象和监控规则等参数。
    Image

    参数

    配置说明

    监控名称

    自定义监控名称，便于后续标识监控规则。

    监控对象 & 监控对象相关参数

    • 根据监控需要选择监控对象类型为事件、事件属性还是用户属性。
    • 不同类型的监控对象需根据界面提示，选择对应具体的事件、事件属性、用户属性。事件属性还可进一步选择关联的事件名称。

    错误类型

    您可在下拉列表中选择需要监控的校验规则，下拉列表中包含当前校验对象支持的DataFinder预置的校验规则和自定义校验规则。

    说明

    DataFinder预置的全量校验规则列表请参见下文的参考：预置数据校验规则；已创建的自定义校验规则列表可前往校验规则配置页面查看，详情请参见校验规则配置。

    监控规则

    当前支持配置监控规则的触发条件是任意条件满足还是累计条件满足。例如，对于监控对象为事件时：

    • 任意条件满足：任意某一个入库事件满足监控规则时才会触发监控告警。
    • 累计条件满足：所有入库事件累计数量满足监控规则时就会触发监控告警。

    当前触发告警的监控规则为一段时间内，不满足校验规则的异常数据的数量。

    • 您可根据界面提示配置监控的时间范围和数据量上限。
    • 支持配置多条监控规则，每个监控规则间的逻辑关系为“OR”。

    监控范围（用户属性不支持）

    您可通事件属性来过滤，支持配置多条过滤条件，过滤条件间的逻辑关系可统一设置为“OR”或者“AND”。

  3. 告警设置。根据界面提示配置监控的时段和告警消息的发送渠道。
    Image
    如果希望告警消息发送至企业群，您需要先在DataFinder上创建好对应企业群的Webhook消息，详情请参见Webhook管理。

  4. 创建完成监控告警后，您可以前往告警管理页面查看对应的监控告警列表，以及对应监控告警规则的异常数据、告警数据等信息，详情请参见告警管理。

查看并处理异常数据

以下为您介绍在数据入口明细页面通用的异常数据查看、分析、处理的操作指导。

入库事件列表明细

您可以在入库校验明细页面查看到当前入库的权利事件列表及其相关的异常数据等信息。

Image

  • 事件名称：上报事件名称
  • SDK类型：web、mp（小程序）、app，为空代表通过 http api 等非 sdk 上报数据，此时「SDK版本」也为空
  • SDK版本：SDK版本号
  • 错误类型：该事件被检测到的错误类型，包括事件错误和属性错误；校验规则请见3.数据校验规则部分
  • 接收条数：系统接收到的数据条数，此时尚未进行数据合法性校验
  • 抛弃条数：数据因为错误、数量超限等原因未进入系统条数
  • 入库条数：进入系统可以查询的数据条数
  • 异常属性条数：包含异常属性的次数，属性异常通常仅会导致相关属性被丢弃，而不会影响事件本身

查看全量异常数据详情

您可以点击列表左侧事件名称查看该事件的错误详情，系统会自动为您展示当前事件最新的10条错误日志，您可以按错误类型、错误码筛选，定位具体的错误类型。

注意

  • 详情仅支持查看最近7天的记录。
  • 被禁用的事件/属性，以及上报类型与元数据登记不一致的事件属性，会被直接抛弃；如果您希望在数据详情查看这类数据，则需要将事件公共属性$data_validation_test 上报值设置为 true。

Image

AI Lab：事件异常智能监测

DataFinder AI Lab为DataFinder结合AI大模型能力为您提供的多维度的智能助手，其中包含AI事件异常监测能力。
Image
打开AI Lab的事件异常监测开关后，后续AI Lab将自动为您扫描监测上报的事件，为您提示AI识别出的疑似问题，进一步提高上报事件的识别、治理效率。
Image

下载错误明细

  • 点击每条事件最右侧的“下载”可以导出该事件的错误数据列表。
  • 点击列表右上角“下载错误明细”可以导出全部错误数据列表。

查看监控告警异常数据详情

如果您配置了监控告警，当收到监控告警消息通知后，您可在告警管理页面查看对应监控规则的告警条数、异常数据条数。详情请参见告警管理。
Image

参考：预置数据校验规则

DataFinder为您预置了常见的数据入库校验规则，当事件入库时不满足校验规则，则会导致整条事件被拦截，预置的事件校验规则和入库异常包括以下情况。

说明

当前DataFinder也支持您根据业务需要自定义数据校验规则，创建自定义校验规则和自定义校验规则的告警提示配置请参见校验规则配置。

错误码

错误描述

校验规则

优化建议

1010001

事件名不合法

^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,255}$

事件名称请以字母开头，可包含字母、数字、_ . -，长度不得超过255个字符，请修改名称

1010002

事件名与系统预留事件名规则冲突

不为$和__开头的预置事件名

与系统预留事件名规则冲突，事件名称不得以$或__开头，请以字母开头，可包含字母、数字、_ . -，长度不得超过255个字符请修改名称

1010003

事件名与虚拟事件名冲突

与创建的虚拟事件同名

事件名称不得与虚拟事件同名，请修改名称

1010004

事件数量超限

单应用超过1000个事件，事件落元数据status=-2，槽位化标记关闭，事件不构建，属性不落库
私有化可配置上限，最多5000个

事件数量已达上限，无法增加新事件，请前往元事件列表页，将无用事件“禁用”

1010006

入库事件发生时间超出有效窗口期

事件发生时间不在过去7天或超出未来24小时范围内

埋点发生时间早于过去7天，事件上报延迟，建议排查客户端网络链接情况，或提高上报频次（需要修改SDK配置）

1010007

事件元数据未验收或在黑名单中

事件未登记/未验收或标记为黑名单

如需要该事件入库，请将事件状态改为“启用”或“隐藏”

1010008

事件元数据不存在

事件元数据不存在

开启强校验后首次上报会提示元数据不存在，验收后可正常入库。

当仅检测到属性异常时，不影响该条事件入库，但异常属性会被拦截不予入库。属性异常包括以下情况：

错误码

错误描述

校验规则

优化建议

1020001

事件属性名不合法

^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,64}$

属性名称请以字母开头，可包含字母、数字、_ . -，长度不得超过64个字符，请修改名称

1020002

事件属性名与系统预留规则冲突

不为$和__开头的预置事件名
有白名单("$inactive","$inline","$target_uuid_list","$source_uuid","$is_spider","$source_id","$is_first_time")

事件属性名与系统预留规则冲突，名称不得以$和__开头，请修改名称

1020003

单事件属性个数超限

单事件建议300个属性，超过300个但不超过500个，状态设置为0，表示禁用构建，但可在页面展示；超过500个状态设置为-2，表示隐藏且不构建

单事件属性个数已达到上限300个，超出部分无法入库，请前往元数据-事件属性列表页，将无用事件属性禁用

1020004

事件属性数据类型不合法

与元数据中记录的属性数据类型不一致，且强转失败

实际上报的数据格式与元数据中记录的属性数据类型不一致，且强转失败；请按照登记类型调整上报，或修改登记的数据类型

1020005

事件属性值不合法

  • SaaS-云原生：超过2048个字符
  • SaaS-非云原生：超过1024个字符

属性值超过2048/1024个字符，超出部分会被截断无法入库，建议调整上报值

1020006

事件属性未验收或在黑名单中

事件属性事件未登记/未验收或标记为黑名单

如需要该属性正常入库，请将属性状态改为“启用”或“隐藏”

1020007

事件属性元数据不存在

事件属性元数据不存在

开启强校验后首次上报会提示元数据不存在，验收后可正常入库。

1030001

事件公共属性名不合法

^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,64}$

属性名称请以字母开头，可包含字母、数字、_ . -，长度不得超过64个字符，请修改名称

1030002

事件公共属性名与系统预留规则冲突

不为$和__开头的预置事件名
有白名单("$inactive","$inline","$target_uuid_list","$source_uuid","$is_spider","$source_id","$is_first_time")

事件公共属性名与系统预留规则冲突，属性名称不得以$和__开头，请修改名称

1030003

单应用事件公共属性个数超限

超过300个（私有化4.6及以下版本100个）事件公共属性，状态设置为-2不参与构建

事件公共属性个数已达到300个，超出部分无法入库，请前往元数据-事件属性列表页，将无用事件公共属性禁用

1030004

事件属性数据类型不合法

与元数据中记录的属性数据类型不一致，且强转失败

实际上报的数据格式与元数据中记录的属性数据类型不一致，且强转失败；请按照登记类型调整上报，或修改登记的数据类型

1030005

事件公共属性值不合法

  • SaaS-云原生：超过2048个字符
  • SaaS-非云原生：超过1024个字符

属性值超过2048/1024个字符，超出部分会被截断无法入库，建议调整上报值

1030006

事件公共属性未验收或在黑名单中

事件公共属性未验收或在黑名单中

如需要该属性正常入库，请将属性状态改为“启用”或“隐藏”

1030007

事件公共属性元数据不存在

事件公共属性元数据不存在

开启强校验后首次上报会提示元数据不存在，验收后可正常入库。

1040001

用户属性名称不合法

^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,64}$

属性名称请以字母开头，可包含字母、数字、_ . -，长度不得超过64个字符，请修改名称

1040002

用户属性个数超限制

用户属性个数超500个限制

用户属性数量已达上限，无法增加新属性，请前往用户属性列表页，将无用属性“禁用”

1040003

用户属性类型不合法

与元数据中记录的属性数据类型不一致，且强转失败

实际上报的数据格式与元数据中记录的属性数据类型不一致，且强转失败；请按照登记类型调整上报，或修改登记的数据类型

1040004

用户属性值不合法

  • SaaS-云原生：超过2048个字符
  • SaaS-非云原生：超过1024个字符

属性值超过2048/1024个字符，超出部分会被截断无法入库，建议调整上报值

1040005

用户属性未验收或在黑名单中

用户属性未验收或在黑名单中

如需要该属性正常入库，请将属性状态改为“启用”或“隐藏”

1040007

用户属性元数据不存在

用户属性元数据不存在

开启强校验后首次上报会提示元数据不存在，验收后可正常入库。

常见问题

Q1：抛弃条数和异常属性条数的关系是什么？

入库条数=接收条数-抛弃条数，由于属性异常只影响属性入库，并不引起整条数据被抛弃，因此异常属性条数不直接和抛弃挂钩，异常属性条数是全部接收条数中检测到属性异常的条数。

Q2：抛弃条数是否可以回补？

目前被抛弃的条数无法回补，因此建议您关注治理看板，及时处理数据异常，避免数据损失。

Q3：为什么看不到错误日志详情？

详情数据仅保留最近7天的日志数据，超过7天的数据仅支持看统计结果，不可查看日志。