- 图计算本身是一个很泛的概念,可以从几个角度来回答:
- 是基于图的模型来做计算的,图的构建来自于界面上的配置(ID类型代表点\ID间的关系代表边),具体计算过程可以理解为在图上找关系,找到关系则复用,找不到关系则生成一个新的OneID,具体可以看第三章节
- 但没有直接用传统的图算法,如按连通图来计算OneID,这本身有计算性能和需求满足度多方面的考虑
- 因为没有用传统的图算法,所以也没有用图存储来存储数据,而是直接用关联表来存储
- 简单概括:IDM用了图的模型,但如何基于图做计算是我们自研的一套算法,可保证高效的产出结果,并符合业务事实且可追溯生成过程
|
Q-模糊识别:VeCDP的IDMapping支持非结构化的模糊识别融合吗?比如头像、别名、合同等信息 |
- 不支持,如有相关信息可将非结构数据转化为结构数据,如头像ID、头像性别特征等
|
Q-数据时效:IDMapping 产生OneID的时效是怎么样的? |
- IDM支持离线天级更新和实时更新两种时效,离线是每天早上依赖上游数据集进行执行更新,实时可做到秒级别更新生成OneID
- IDM支持离线和实时相互融合的生成逻辑,离线更新时也会在离线任务前当天的实时数据统计在内,实时也会参考离线产生的OneID
|
Q-任务执行:IDMapping 任务每天什么时候执行? |
- IDMapping对上游数据集建立了强依赖,数据集任务更新完成后,IDM任务会自动更新执行
|
Q-任务执行:IDMapping 每个主体的任务可以设置优先级顺序吗?高优保证某个主体任务优先产出 |
|
Q-任务重跑:重跑IDMapping任务之后,IDMapping底表可以查到ID=1,但是标签查不到? |
可考虑两方面: - 如ID=1是当天首次生成的,每次重新执行任务后,ID对应的OneID会自动更新改变
- 如ID=1是当天之前已经生成过的,任务重跑没有更新标签任务,可点击重新执行ID全量标签保证数据一致
|
Q-数据隔离:IDMapping生效的粒度是如何的?是否支持项目隔离、应用隔离? |
- IDMapping是围绕主体生成OneID,主体是集团粒度的,即集团内所有项目看到相同的主体,使用相同的主体数据
- IDMapping暂不支持项目隔离、应用隔离,隔离本质跟主题多源数据打通的逻辑相悖,不建议做隔离,如需一定隔离可参考以下方案:
- 采用多主体做数据隔离,每个需要绝对隔离的目标对象可当做一个独立的主体
- 采用多集团完全隔离,多集团可以将数据和管理完全隔离开,相当于购买多套VeCDP产品
|
Q-业务系统集成:如果下游业务系统也想全系统复用IDMapping可以支持吗? |
- 支持,可选择将标签表或IDM表回流到下游数仓或业务系统,直接进行查询使用
|