You need to enable JavaScript to run this app.
导航
创建数据输出任务
最近更新时间:2024.08.29 20:56:36首次发布时间:2024.08.29 20:56:36

如果您需要将Finder-SDK采集的埋点数据实时推送到目标地址(例如您的业务数仓),数据输出模块可为您实现。本文为您介绍在SaaS-云原生环境中创建数据输出任务的详细操作步骤。

前提条件
  • 您需要已经完成各端数据接入操作,详情请参见Finder数据接入概述
  • 您的操作账号需要具备数据管理的数据输出功能权限,授权操作看参见角色管理
  • 您已提前创建好输出传输任务的数据源,操作详情请参见创建数据源

新建任务
  1. 登录并进入DataFinder产品控制台后,单击顶部导航栏数据管理>数据输出>数据输出,进入数据输出页面。

  2. 单击页面右上角的新建任务,在弹出的侧边窗中配置输出任务参数。

  3. 配置基本信息。
    图片

    参数

    配置说明

    任务名称

    您可以自定义名称,例如XX产品埋点数据推送。

    应用

    选择需要输出数据的应用。

    触发类型

    当前SaaS-云原生环境仅支持实时数据分发,即跟随数据上报即时分发到目标地址。

    分发内容

    配置分发到目标地址的数据内容,支持配置为:

    • 原始上报数据:即SDK采集上报的原始数据,数据被SDK采集上报后60秒内送达目标地址。
    • 事件表数据:SDK采集上报的数据经DataFinder处理后落库存储的事件表数据。数据被SDK采集上报后10分钟内送达目标地址。
      • 因原始数据落库时有数据处理过程,因此分发时间相较于原始上报数据会有延时。
      • 采集的原始数据如果不符合DataFinder的落库数据规范要求,或事件被禁用,则这部分原始数据不落表(例如属性数据类型不一致),也就不会被分发至目标地址。

    注意

    实时数据输出启动数据传输时,部分数据还未落库,例如:IP解析省份&城市等需要二次解析的数据;且实时输出传输不包含profile(用户数据)和item(业务对象) API上报的数据。因此如果您需要接收此类数据时,建议使用离线传输任务。

  4. 配置分发通道及配置
    图片

    参数

    配置说明

    数据源

    选择已创建好的数据源,后续数据即传输至对应数据源中。

    TOPIC / Headers

    • 数据源类型为Kafka或BMQ时,您需要在下拉框中选择对应数据源实例中的Topic。
    • 数据源类型为Webhook时,您需要根据接收端对数据发送的Webhook要求,配置Webhook Headers,支持置多项Headers。
      例如,接收端要求配置鉴权信息,您可将鉴权信息配置在Headers中,后续DataFinder传输数据时会带上此处配置的Headers信息。
  5. 配置数据管理。
    图片

    参数

    参数说明

    添加事件

    配置需要分发到目标地址的事件列表。事件列表为包含逻辑,即仅选定的事件将会被分发。

    事件属性添加规则

    对已添加的事件通过事件属性进行过滤,即仅在事件列表范围内,且满足事件属性规则的数据才会被分发。

  6. 完成配置后单击确定,完成数据输出任务创建。

数据输出结果确认

任务创建成功后预计10分钟内生效。您可以在10分钟之后查看接收端是否正常接收到了数据。

查看/启停/编辑任务

您可以在数据输出的任务列表页面查看所有数据输出任务:
图片

  • 页面最上方为您展示当前项目中所有数据输出任务的现状。
  • 任务创建后默认状态为“执行中”,此时数据正常分发。如果您需要停止数据输出,可以点击“停止”将状态改为“已停用”。任务切换状态预计10分钟内生效。
  • 执行中任务不可编辑或删除,如果您需要修改数据传输地址,请先将执行中的任务停用,编辑后重新启用即可。

数据格式说明

向Kafka、BMQ、Webhook输出数据时,不同类型数据源的输出数据格式详情请参见数据格式说明:Kafka/BMQ数据源数据格式说明:Webhook数据源