数据治理看板可以自动检测当前项目的埋点数据质量和埋点使用情况,辅助数据管理人员判断埋点数据是否健康,从而采取进一步的治理动作,包括修复埋点异常、清理无用埋点等。
增长分析产品在收到SDK上报的数据后,会对数据内容进行校验,通过校验的数据才会构建到数据表,错误数据则会被拦截丢弃,具体的处理方式是:
事件拦截率指标用于监测当前项目中有多少比例的事件数据由于格式异常或上报延迟导致被拦截无法入库,拦截率越高表明事件错误越高,数据损失越大。
事件拦截率=事件错误拦截条数/接收总条数
拦截条数仅计算启用、启用不显示状态的元数据,禁用、待验收、黑名单状态的事件属于预期内正常拦截的事件,不在统计范围内。
数据错误率=被检测到事件异常的条数/服务端接收的总条数
事件错误会导致整条事件被拦截,事件异常包括以下情况:
错误码 | 错误描述 | 校验规则 | 优化建议 |
---|---|---|---|
1010001 | 事件名不合法 |
| 事件名称请以字母开头,可包含字母、数字、_ . -,长度不得超过255个字符,请修改名称。 |
1010002 | 事件名与系统预留事件名规则冲突 | 不为$和__开头的预置事件名。 | 与系统预留事件名规则冲突,事件名称不得以$或__开头,请以字母开头,可包含字母、数字、_ . -,长度不得超过255个字符请修改名称。 |
1010003 | 事件名与虚拟事件名冲突 | 与创建的虚拟事件同名。 | 事件名称不得与虚拟事件同名,请修改名称。 |
1010004 | 事件数量超限 |
| 事件数量已达上限,无法增加新事件,请前往元事件列表页,将无用事件“禁用”。 |
1010005 | 事件构建禁用 | 在元数据管理中禁用了该事件。 | 检查元数据中该事件的“禁用”状态设置。 |
1010006 | 入库事件发生时间超出有效窗口期 | 事件发生时间不在过去7天及未来小时范围内。 | 埋点发生时间早于过去7天,事件上报延迟,建议排查客户端网络链接情况,或提高上报频次(需要修改SDK配置)。 |
1010007 | 事件元数据未验收或在黑名单中 | 事件未登记/未验收或标记为黑名单 | 如需要该事件入库,请将事件状态改为“启用”或“隐藏” |
1010008 | 事件元数据不存在 | 事件元数据不存在 | 开启强校验后首次上报会提示元数据不存在,验收后可正常入库。 |
当仅检测到属性异常时,不影响该条事件入库,但异常属性会被拦截不予入库。属性异常包括以下情况:
错误码 | 错误描述 | 校验规则 | 优化建议 |
---|---|---|---|
1020001 | 事件属性名不合法 |
| 属性名称请以字母开头,可包含字母、数字、_ . -,长度不得超过64个字符,请修改名称。 |
1020002 | 事件属性名与系统预留规则冲突 | 不为$和__开头的预置事件名。 有白名单("$inactive","$inline","$target_uuid_list","$source_uuid","$is_spider","$source_id","$is_first_time")。 | 事件属性名与系统预留规则冲突,名称不得以$和__开头,请修改名称。 |
1020003 | 单事件属性个数超限 | 单事件建议300个属性,超过300个但不超过500个,状态设置为0,表示禁用构建,但可在页面展示;超过500个状态设置为-2,表示隐藏且不构建。 | 单事件属性个数已达到上限300个,超出部分无法入库,请前往元数据-事件属性列表页,将无用事件属性禁用。 |
1020004 | 事件属性数据类型不合法 | 与元数据中记录的属性数据类型不一致,且强转失败。 | 实际上报的数据格式与元数据中记录的属性数据类型不一致,且强转失败;请按照登记类型调整上报,或修改登记的数据类型。 |
1020005 | 事件属性值不合法 |
| 属性值超过2048/1024个字符,超出部分会被截断无法入库,建议调整上报值。 |
1020006 | 事件属性未验收或在黑名单中 | 事件属性事件未登记/未验收或标记为黑名单 | 如需要该属性正常入库,请将属性状态改为“启用”或“隐藏” |
1020007 | 事件属性元数据不存在 | 事件属性元数据不存在 | 开启强校验后首次上报会提示元数据不存在,验收后可正常入库。 |
1020008 | 事件属性禁用 | 事件属性被禁用。 | 检查事件属性的“禁用”设置。 |
1030001 | 事件公共属性名不合法 |
| 属性名称请以字母开头,可包含字母、数字、_ . -,长度不得超过64个字符,请修改名称。 |
1030002 | 事件公共属性名与系统预留规则冲突 | 不为$和__开头的预置事件名。 有白名单("$inactive","$inline","$target_uuid_list","$source_uuid","$is_spider","$source_id","$is_first_time")。 | 事件公共属性名与系统预留规则冲突,属性名称不得以$和__开头,请修改名称。 |
1030003 | 单应用事件公共属性个数超限 | 超过100个事件公共属性,状态设置为-2不参与构建。 | 事件公共属性个数已达到100个,超出部分无法入库,请前往元数据-事件属性列表页,将无用事件公共属性禁用。 |
1030004 | 事件公共属性数据类型不合法 | 与元数据中记录的属性数据类型不一致,且强转失败。 | 实际上报的数据格式与元数据中记录的属性数据类型不一致,且强转失败;请按照登记类型调整上报,或修改登记的数据类型。 |
1030005 | 事件公共属性值不合法 |
| 属性值超过2048/1024个字符,超出部分会被截断无法入库,建议调整上报值。 |
1030006 | 事件公共属性未验收或在黑名单中 | 事件公共属性未验收或在黑名单中 | 如需要该属性正常入库,请将属性状态改为“启用”或“隐藏” |
1030007 | 事件公共属性元数据不存在 | 事件公共属性元数据不存在 | 开启强校验后首次上报会提示元数据不存在,验收后可正常入库。 |
1030008 | 事件公共属性禁用 | 事件公共属性被禁用。 | 检查事件公共属性的“禁用”设置。 |
1040001 | 用户属性名称不合法 |
| 属性名称请以字母开头,可包含字母、数字、_ . -,长度不得超过64个字符,请修改名称。 |
1040002 | 用户属性个数超限制 | 用户属性个数超300个限制。 | 用户属性数量已达上限,无法增加新属性,请前往用户属性列表页,将无用属性“禁用”。 |
1040003 | 用户属性类型不合法 | 与元数据中记录的属性数据类型不一致,且强转失败。 | 实际上报的数据格式与元数据中记录的属性数据类型不一致,且强转失败;请按照登记类型调整上报,或修改登记的数据类型。 |
1040004 | 用户属性值不合法 |
| 属性值超过2048/1024个字符,超出部分会被截断无法入库,建议调整上报值。 |
1040005 | 用户属性未验收或在黑名单中 | 用户属性未验收或在黑名单中 | 如需要该属性正常入库,请将属性状态改为“启用”或“隐藏” |
1040007 | 用户属性元数据不存在 | 用户属性元数据不存在 | 开启强校验后首次上报会提示元数据不存在,验收后可正常入库。 |
您可以点击蓝色数字查看明细上报日志,进一步排查问题。
增长分析对于超过7天仍未上报的数据采取丢弃不予入库处理,例如某次用户行为发生在1月1日,那么只有该行为在1月8日前完成上报才能被入库,1月8日后即使上报也无法入库。
延迟率=入库事件发生时间超出有效窗口期的事件条数(错误类型1010006)/服务端接收的总条数
如果您检测到项目的上报延迟率较高,建议您关注SDK的类型和版本,并调整上报时机,例如缩短上报时间间隔。同时也建议您进一步关注用户设备的联网情况。
您可以点击蓝色数字查看明细上报日志,进一步排查问题。
在开展埋点治理工作前,首先需要了解当前埋点的建设和使用情况。
使用过程中时常会遇到未知数据、名称错误的事件或属性以及数据类型错误的属性进入到系统中,直到使用这些数据进行分析时才被发现。这时往往错误数据已经影响了数据分析,问题原因又很难定位,造成时间的大量浪费。开启数据验收后,数据在进入系统前就需要人工审核,在确认名称、属性类型无误后放行,可以让进入系统的数据有正确的规则,从而减少数据使用时由异常数据引发的异常。
增长分析为您提供埋点入库校验模式管理模式,您可以根据实际埋点管理要求选择是否开启,默认为关闭状态。
您可以点击“去修改”或打开“项目中心 > 项目管理 > 通用设置”页面配置开关。
元数据状态流转图如下:
不同状态的元数据可用性对照表:
status | 数据管理展示 | 是否占用元数据配额 | 是否构建存储 | 是否产品内可用 | |
---|---|---|---|---|---|
超限 | -2 | 否 | 否 | 否 | 否 |
禁用 | 0 | 是 | 否 | 否 | 否 |
启用 | 1 | 是 | 是 | 是 | 是 |
隐藏 | 2 | 是 | 是 | 是 | 否 |
待验收 | 3 | 否 | 否 | 否 | 否 |
黑名单 | 4 | 否 | 否 | 否 | 否 |
您可以在数据管理 > 数据治理 > 数据治理看板 > 元数据使用情况模块查看当前项目元数据的创建数量和使用统计,指标包括:最近30天查询次数、最近30天查询人数、关联图表数(仅支持事件,不支持属性)、昨日入库数(仅支持事件,不支持属性)。
为方便项目成员使用,减少不必要的冗余信息和数据,建议数据管理员及时停用项目中的无效事件/属性,例如无人查询或是长期无数据上报的事件/属性。
您也可以点击事件名称/属性名称查看详情,操作示意图:
您可以点击页面右上角的“导出埋点方案”按钮,获取当前项目完整埋点方案文档(excel格式),内容包括自定义事件/属性、预置事件/属性、用户属性。
操作示意图:
我们建议“数据管理员”或“埋点负责人”定期查看数据治理看板,这能够帮助您及时发现埋点数据中存在的异常情况,尽早修正数据避免损失。
开启入库校验能够保障所有埋点均经过人工审核,这能够在查询埋点时提供最大程度的便利和数据准确。因此如果您的项目具备“埋点负责人”的角色,建议您开启入库校验开关。
如果当前您的团队还无法指派“埋点负责人”的角色,为了避免长期无人验收/登记埋点信息导致数据拦截丢失,建议您关闭入库校验开关。
不会。进入待验收列表的元事件或属性在用户手动验收前始终会保留在待验收列表中,并且相关数据也不会进入系统。
目前可以联系客服或客户成功删除一部分不再使用的元数据,减少元数据数量,同时建议调整埋点方案中元事件的命名方式,通常元数据名称中经常变化的部分是可以作为该事件的属性上报的。
开启埋点入库校验后,只有验收通过之后的数据上报才会入库,未验收的数据不入库。