You need to enable JavaScript to run this app.
导航
ID-Mapping运维与管理
最近更新时间:2024.07.11 17:32:55首次发布时间:2024.03.06 15:13:28

1.功能概述

系统提供ID-Mapping运维与管理相关功能,主要包括:任务信息、血缘视图、数据探查分析,以及高级配置(如授权ID Mapping配置权限、管理ID Mapping在线服务配置等等。

2.使用限制

仅集团管理员(即admin账号)可以配置ID图谱。

3.操作指南

3.1 ID-Mapping任务信息

点击 数据融合-ID图谱构建 ,进入 任务信息 页面。在该页面将展示所有ID-Mapping任务详情,用户可以查看对应任务的库表名、身份标识ID、创建时间、运行状态等。

  • 表头显示当前环境下的任务总览,包括总任务数、成功/失败数等。
  • 支持按「主体OneID任务」或「多主体关系任务」进行筛选。
  • 支持按任务类型、主体、多主体关系和运行状态进行筛选。
  • 任务类型包括:
    • OneID生成任务:一个主体一个任务,控制整体OneID的生成逻辑,是最核心且最先运行的任务,落地Hive表
    • ID数据同步任务:依赖OneID生成任务,将每个ID映射的BaseID(OneID)数据Hive表同步至Clickhouse,是下游标签等应用直接依赖的任务
    • 多主体关系生成:依赖OneID生成任务,将主体间的转换关系数据构建BaseID(OneID)到BaseID(OneID)的映射关系,落地Hive表
    • 多主体关系数据同步:依赖多主体关系生成任务,将主体间构建的BaseID映射关系Hive表数据同步Clickhouse,是下游主体转关关系应用直接依赖的任务

支持查看单个任务的运行视图和运行记录,并且支持单独重新运行此任务。

  • 「运行视图」页面,将显示该任务上游依赖的DAG以及各依赖任务的运行状态。
  • 「重新运行」将会重启该任务。
  • 「运行记录」页面,将显示该任务最近30天的任务执行情况。

点击右上角 运行 按钮,可以手动运行所有ID-Mapping任务(可能导致OneID改变)。

3.2 血缘管理

3.2.1 血缘视图

在血缘视图中,支持查看标签、分群、数据集、资产输出、IDM在线导入、多主体转换关系的上下游血缘情况,方便运维排查,提高异常任务处理效率。

3.2.2 查看ID血缘及下游

在OneID图谱中,支持单击ID去查看ID详情及下游,支持查看下游依赖的血缘视图。

3.3 数据探查分析

支持查询ID到OneID的映射关系,以及OneID变更记录。

3.3.1 OneID映射

说明

说明
作用: 查看每个具体的ID值对应的OneID及不同查询环境下是否存在不同的OneID。
建议: 如存在多个ID值在不同环境下存在不同OneID,则不符合OneID生成预期,请检查离线或实时任务是否正常更新,如存在部分ID值存在多个不同OneID结果,则可能由于数据更新导入时效问题导致,建议稍等后再次查询。

3.3.2 OneID重组变化

说明

说明
作用: 查看OneID的变化过程,可用于排查因为IDM配置变化或参考关系变化带来的OneID重组。
建议: 如存在ID对应的OneID频繁变动,可以检查ID相关的参考关系配置或关系数据,避免参考关系频繁变动。

图片

3.4 IDM高级配置

3.4.1 授权IDM配置权限

点击右上角 高级配置-授权IDM配置权限 按钮,将跳转到项目中心,支持配置ID Mapping管理员,被授权者将有权限编辑ID图谱。

3.4.2 管理IDMapping在线服务配置

点击右上角 高级配置-管理IDMapping在线服务配置 按钮,将跳转到项目中心,支持对ID Mapping的主体及转换关系构建在线服务,用于高QPS低延迟的接口快速查询。

3.4.3 管理主体及可见范围

点击右上角 高级配置-管理主体及可见范围 按钮,将跳转到项目中心,支持对 主体和ID 进行 反向禁用(默认全部可用,勾选特定对象后可批量禁用)。

说明

注意:该配置为集团层面配置,禁用后将对该用户访问各项目时生效。

  • 配置主体资源权限。勾选资源后,点击「批量禁用」,弹窗中选择禁用的对象。(仅支持按用户筛选)
  • 配置ID类型资源权限。勾选资源后,点击「批量禁用」,弹窗中选择禁用的对象。(支持按用户、用户组、角色筛选)

3.4.4 设置底表生命周期

IDMapping任务底层涉及数据生产、数据同步过程,用户可以设置底表存储的生命周期天数,以节省存储资源。

说明

说明

  • 天数:最小14天,最多365天,仅支持整数输入
  • 如有OneID变更后回刷需求,可根据回刷需求设置合理周期
  • 按需配置:目前仅对Hive底表生效,CK和Tendis暂不支持

3.4.5 管理离线全量ID统计逻辑

IDMapping均是基于全量ID进行图谱生成的,全量ID数据的来源多条路径,支持定义全量ID的数据统计逻辑。开启后,OneID将整合所有离线ID和历史实时ID,适用于离线数仓数据不完整,需要多渠道数据来构建完整全量ID的场景。

*注意事项: 此功能默认关闭,如需启用,请在部署时告知并开启对应功能开关。

3.4.6 管理ID全量数据融合周期

为了确保在OneID生成过程中,相同ID保持一致的OneID,支持设定历史OneID的参考周期,以便新数据能与历史数据无缝对接。默认融合周期设置为7天,也可以根据需要自定义调整。

*注意事项: 此功能默认关闭,如需启用,请在部署时告知并开启对应功能开关。

说明

注意:

  1. 如果某ID的数据源 【仅实时】,则每天会把实时数据存储下来,只有【离线+实时】时,选择相信离线数据集包含全量ID,但是也要避免沉默用户的场景来配置该功能
  2. 建议离线ID每天都包含历史的所有ID,如确认包含可忽略该功能

3.5 删除ID

在ID配置页面,支持删除ID。

说明

注意

  1. 集团及项目管理员、ID Mapping管理员有权限删除ID
  2. 系统联动的ID不可删除,例如Finder产品联动的ID
  3. 删除ID后,该ID绑定的OneID数据将在下次任务更新时被清空,一旦删除无法撤回
  4. 删除ID时,支持查看该ID的血缘信息,ID删除后下游任务可能会执行异常
  5. 删除ID后,OneID、多主体关系及在线服务影响如下:
    1. OneID配置:该ID与其他ID的参考关系会跟随删除,OneID生成逻辑改变;
    2. 多主体关系:依赖该ID的多主体转换关系会跟随删除。
    3. OneID在线服务:若该ID已开启在线服务,调用该ID的接口服务将执行失败,血缘中不会展示开放服务的接口,请内部确认该ID是否被调用。

3.6 OneID数据修正

*注意事项: 此功能默认关闭,如需启用,请在部署时告知并开启对应功能开关。

基于完整的ID血缘体系,ID图谱构建模块提供数据自动修正的能力,可以将历史的OneID修正为最新的OneID。

3.6.1 数据修正范围

  • 可视化建模任务:包含IDM算子且开启回刷开关的任务、注册为数据档案且包含IDM算子的任务
  • 数据档案:行为/明细数据档案
  • 标签:不支持回刷修正,如涉及周粒度/月粒度大周期任务建议更改为日粒度
  • 分群:不支持回刷修正,如涉及周粒度/月粒度大周期任务建议更改为日粒度
  • DataFinder行为数据:包含Finder行为数据和属性数据
    • 注意:DataFinder独立部署时,不支持OneID数据修正

3.6.2 应用场景

场景1: 存在用户,第一天匿名登陆,第二天改为实名登陆,此时需要串联用户的行为链路

  • ID-Mapping配置:手机号/设备号,手机号优先级 > 设备号,设备号参考手机号
  • 第一天的情况:匿名登陆,只有设备号1信息,此时对应 设备号1 = OneID1
  • 第二天的情况:实名登陆,此时有了手机号1 +设备号1信息,设备号参考手机号,此时手机号1=设备号1 = OneID2
  • 问题:第一天的行为是围绕 OneID1 记录的,第二天的行为是围绕 OneID2 记录的,导致用户两天的行为无法串联分析转化行为路径

场景2:ID-Mapping配置改变,基于场景1,此时要以设备号为业务更高优先级的ID,变更IDM配置

  • ID-Mapping配置变更前:手机号/设备号,手机号优先级 > 设备号,设备号参考手机号
  • ID-Mapping配置变更后:手机号/设备号,手机号优先级 < 设备号,手机号参考设备号
  • 变更前:手机号 = 设备号 = OneID1,基于手机号生成的OneID1
  • 变更后:手机号 = 设备号 = OneID2,基于设备号生成的OneID2
  • 问题:同上,涉及行为数据/业务明细数据等历史数据无法和最新数据串联

基于上述场景的解决方案如下: 基于完整的ID血缘体系,IDM提供数据自动修正的产品功能,可以将历史的OneID修正为最新的OneID。 方案逻辑: 每天定时唤起任务进行数据更新回刷。
说明
1、功能限制:

  • 资源风险:每天定时唤起任务会导致任务量增加,由此可能带来资源消耗增加
  • 修正周期风险:支持最多3天的数据修正,更长周期修正会增加资源消耗和任务稳定性风险,需咨询运维变更

2、数据修正范围:

  • 可视化建模任务:包含IDM算子且开启回刷开关的任务、注册为数据档案且包含IDM算子的任务
  • 数据档案:行为/明细数据档案
  • 标签:不支持回刷修正,如涉及周粒度/月粒度大周期任务建议更改为日粒度
  • 分群:不支持回刷修正,如涉及周粒度/月粒度大周期任务建议更改为日粒度
  • DataFinder行为数据:包含DataFinder行为数据和属性数据
    • 注意: DataFinder独立部署时,不支持OneID数据修正

3.6.3 操作步骤

步骤

功能入口

操作说明

操作截图

1-必选

ID图谱构建 - OneID配置

点击主体名称更多按钮,点击【设置OneID修正范围】唤起配置入口进入弹窗配置回刷的周期,最多支持3天回刷超出3天会有额外的人力和资源成本评估,需要单独评估

图片

图片

2-可选

可视化建模(离线)-IDMapping算子

  1. 使用IDMapping算子构建离线任务时,可以配置是否需要回刷,由此决定任务要不要定时回刷以修正OneID数据

图片