成功创建 DataLeap 项目后,在进行数据开发和数据集成之前,您需要进行相应计算集群引擎的元数据采集操作。DataLeap 支持接入的元数据类型包括 LAS、EMRHive、ByteHouseCDW、EMR Doris、LAS Formation 等。
元数据采集支持使用统一的模板接入各种数据源,通过采集和同步操作,完成各类集群元数据的接入工作。下面将为您介绍如何采集和同步元数据。
1 约束限制
- 租户主账号具备所有采集器的全部操作权限。
- 租户子账号仅对自己创建的采集器具备全部操作权限,对他人创建的采集器仅具备查看、执行同步的操作权限。
2 新建采集器
登录 DataLeap 控制台。
选择概览 > 数据地图 > 元数据采集,进入元数据采集页面。
单击左侧导航栏中需要采集的元数据类型,进入相应的数据类型采集页面。
单击右上角新建采集器按钮,弹出新建采集器窗口。
根据页面提示操作,依次设置采集信息:
其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
参数 | 说明 |
---|
*采集类型 | 支持 BMQ、RocketMQ、EMR Hive、ByteHouse CDW、ByteHouse CE、EMR Doris、Elasticsearch、EMR StarRocks、EMR Serverless StarRocks、LAS Formation 等多种类型选项。 |
采集对象 |
*采集器名称 | 数据采集器的名称,自行设定。
仅可由中文、英文字母、数字或下划线组成,长度不超过100个字符。 |
采集器描述 | 对采集器的描述信息,长度不超过500个字符。 |
采集类型 | 显示当前选择的类型,不可编辑。 |
*采集方式 | 仅支持直接连接。 |
*资源池ID | 连接数据源的资源池信息,下拉可选已在相应平台创建的资源池ID。相关创建说明请参见 BMQ 的创建资源池和 RocketMQ 的创建实例。
当采集类型选择 BMQ 或 RocketMQ 时,需设置该参数。 |
*集群 | 连接数据源的集群信息。 - 当采集类型选择 EMR Hive、EMR Doris、EMR StarRocks、EMR Serverless StarRocks 或 ByteHouse CE 时,下拉可选运行中的当前租户下各项目已绑定的相应集群。一个集群只可创建一个采集器。
说明 - 已创建过采集器或未正常运行的集群将灰显展示在下拉列表中,不可选择。
- EMR Hive、EMR StarRocks 支持快捷模式和安全模式两类集群选项,集群访问模式的相关配置说明请参见绑定 EMR 集群。
- 快捷模式:使用超级账号实现EMR资源鉴权和使用。
- 安全模式:使用IAM账号绑定的EMR LDAP账号实现EMR资源鉴权和使用。
- 当采集类型选择 ByteHouse CDW 或 LAS Formation 时,为默认集群,不可编辑。
|
*实例ID | 连接数据源的实例信息,下拉可选已在火山引擎云搜索服务中创建的 ES 实例名称。
ES 实例创建方式说明可参见创建 ESCloud 实例。
当采集类型选择Elasticsearch,且采集方式选中直接连接后,该参数才显示。 |
*用户名 | 有权限访问 ES 实例中索引数据库的用户名信息,手动输入。
当采集类型选择Elasticsearch,且采集方式选中直接连接后,该参数才显示。 |
*密码 | 用户名对应的密码信息,手动输入。
当采集类型选择Elasticsearch,且采集方式选中直接连接后,该参数才显示。 |
授权管理 |
授权检查 | 勾选授权信息,授权数据地图使用所选集群的元数据。
授权信息为“我同意Dataleap数据地图产品获取所选集群的元数据,并供当前租户下的账号查询使用”。
当采集类型选择 EMR Hive 时,还需做以下检查工作: - 单击 EMR 集群链接处显示的集群名称,跳转到该集群的 EMR 管理页面,开启元数据采集并重启。
- 返回新建采集器窗口,单击授权检查按钮,确认元数据采集工作正常。
|
采集配置 |
Topic 过滤规则 | 通过输入正则表达式,设置Topic过滤规则。
当采集类型选择 BMQ 或 RocketMQ 时,可设置该参数。 |
表过滤规则 | 通过输入正则表达式,设置数据表过滤规则。
设置规则后,采集元数据时将不会采集符合过滤规则的目标数据。 |
库过滤规则 | 通过输入正则表达式,设置数据库过滤规则。设置规则后,采集元数据时将不会采集符合过滤规则的目标数据。
当采集类型选择 ByteHouse CDW 时,可设置该参数。 |
调度配置 |
*执行方式 | 同步元数据的方式。 - EMR Doris、Elasticsearch、EMR StarRocks、EMR Serverless StarRocks、LAS Formation 支持调度执行和手动执行两个选项。
- 调度执行:根据设置的执行频率和时间,自动执行同步操作。
- 手动执行:人工手动执行同步操作。
- EMR Hive、ByteHouse CDW 仅支持实时更新,即采集器会自动实时更新增量元数据。
说明 采集器创建后,需先手动执行一次全量同步历史元数据,相关操作说明请参见下面的手工同步元数据。
|
*调度频率 | 调度执行元数据同步的频率,支持每天执行和每小时执行两个选项。
当执行方式选择调度执行时,需配置该参数。 |
*执行时间 | 调度执行元数据同步的时间。
当执行方式选择调度执行时,需配置该参数。 |
说明
ByteHouse CDW 仅可添加一个采集器。
并依次单击下一步按钮,设置完成后,单击完成按钮,完成采集器创建。
3 手工同步元数据
采集器创建完成后,您可以手动执行一次元数据采集操作,将历史数据采集到数据地图中。
- 在元数据采集列表界面,单击元数据类型,进入相应的数据类型采集页面。
- 单击列表中要同步信息操作列的执行按钮,弹出执行窗口。
- 设置执行范围后,单击确定按钮,可以将元数据手工同步至 DataLeap。
- 全量:把目标源中的所有元信息同步更新一次。
- 指定库表:同步指定库表的元数据。选择该选项后,需输入要同步的数据表名称。
说明
- EMR Hive、ByteHouse CDW 采集器创建后,需手动执行一次全量采集同步历史元数据。首次获取成功后,采集器会自动实时更新元数据。
- 若当前已有任务在执行中,则该操作按钮灰显不可用。
- 若出现同步失败的情况,可通过执行功能,将获取失败的元数据信息手工同步到数据地图。
采集器更多操作,如查看执行历史、编辑、删除、停用/启用采集器,详见元数据采集。
4 后续操作
元数据采集完成后,您便可进行后续的数据采集与加工操作。详见数据采集。