You need to enable JavaScript to run this app.
导航
创建数据源
最近更新时间:2024.08.29 20:56:36首次发布时间:2024.08.29 20:56:36

在SaaS-云原生环境中,您可以根据数据输出的目标数据源需求,创建Kafka、BMQ或Webhook类型的数据源,数据源创建完成后,后续创建数据输出任务时可直接选用对应数据源。本文为您介绍创建数据源的详细操作步骤和注意事项。

背景信息

SaaS-云原生环境支持创建的数据源类型包括:

  • 火山引擎Kafka
  • 火山引擎BMQ
  • Webhook(白名单受限开通)

前提条件
  • 已创建好华北2(北京)地域的私有网络,并创建好对应VPC的子网和安全组,操作详情请参见创建子网创建安全组
    图片
  • 已根据埋点数据同步需求,创建好华北2(北京)地域的目标数据源:火山引擎Kafka或BMQ。
    • 获取创建数据源时绑定的VPC网络和子网信息。

      图片

    • 使用kafka时,还需根据数据同步需要创建好kafka实例的用户,并获取该用户的鉴权信息,操作详情请参见Kafka用户管理帮助文档
      图片

  • 如果您希望使用Webhook方式进行数据输出,需提前申请白名单开通功能。如果您的Webhook部署在火山引擎中,您提前可以获取部署环境的VPC、子网等信息。

创建数据源:Kafka
  1. 登录并进入DataFinder产品控制台后,单击顶部导航栏数据管理>数据输出>自定义数据源,进入自定义数据源页面。

  2. 单击页面右上角的新建数据源,在弹出的侧边窗中配置数据源参数。

  3. 配置基础信息。
    图片

    • 选择数据源类型为Kafka。
    • 在下拉框中选择接入方式,接入方式当前仅支持火山引擎Kafka。
    • 根据界面提示配置数据源名称和描述。
  4. 参数配置。在下拉框中选择已创建好的Kafka实例ID,后续数据将传输至选中的Kafka中。
    图片

  5. 网络配置。
    图片

    参数

    配置说明

    私有网络、子网、安全组

    选择Kafka绑定的私有网络VPC及子网。
    图片

    测试接入链接

    完成选择后单击测试接入链接,测试输出传输链路中的网络是否联通,测试成功后才可完成数据源创建。

  6. 鉴权配置。
    图片

    参数

    配置说明

    鉴权方式

    根据接入Kafka时使用的服务访问的接入点选择鉴权方式:
    图片

    • 使用默认接入点时,选择NONE,无需配置鉴权用户名和密钥,Kafka协议类型PLAIN。
    • 使用SASL_PLAINTEXT接入点时,可选择SCRAM-SHA-256PLAIN。Kafka协议类型为SASL_PALINTEXT。
      • SCRAM-SHA-256的密码类型为SCRAM。
      • PLAIN的密码类型为PLAIN。

    用户名 & 鉴权密钥

    鉴权方式为SCRAM-SHA-256PLAIN时,配置为创建好的Kafka账号对应的用户名和密码。
    图片

  7. 单击确定,完成数据源创建。

创建数据源:BMQ
  1. 登录并进入DataFinder产品控制台后,单击顶部导航栏数据管理>数据输出>自定义数据源,进入自定义数据源页面。

  2. 单击页面右上角的新建数据源,在弹出的侧边窗中配置数据源参数。

  3. 配置基础信息。
    图片

    • 选择数据源类型为BMQ。
    • 在下拉框中选择接入方式,接入方式当前仅支持火山引擎BMQ。
    • 根据界面提示配置数据源名称和描述。
  4. 参数配置。在下拉框中选择已创建好的BMQ实例ID,后续数据将传输至选中的BMQ中。
    图片

  5. 网络配置。
    图片

    参数

    配置说明

    私有网络、子网、安全组

    选择BMQ绑定的私有网络VPC及子网、安全组。
    图片

    测试接入链接

    完成选择后单击测试接入链接,测试输出传输链路中的网络是否联通,测试成功后才可完成数据源创建。

  6. 单击确定,完成数据源创建。

创建数据源:Webhook

说明

Webhook数据源默认不展示,需申请白名单开通后才可使用。

  1. 登录并进入DataFinder产品控制台后,单击顶部导航栏数据管理>数据输出>自定义数据源,进入自定义数据源页面。
  2. 单击页面右上角的新建数据源,在弹出的侧边窗中配置数据源参数。
  3. 配置基础信息。
    图片
    • 选择数据源类型为Webhook。
    • 在下拉框中选择接入方式,接入方式当前仅支持HTTP。
    • 根据界面提示配置数据源名称和描述。
  4. 参数配置。在输入框中填写待传输数据的Webhook URL。
    图片
  5. (可选)网络配置。如果您的Webhook部署在火山引擎,您可以配置此处的网络配置,选择Webhook部署的VPC、子网等环境。
  6. 单击确定,完成数据源创建。

下一步:创建数据输出任务

创建好数据源后,您即可开始创建数据输出任务,详情请参见创建数据输出任务