使用DataLeap的数据集成功能进行数据同步时,数据同步任务运行会使用到调度资源组和独享集成资源组。
本文将为您介绍数据集成任务相关资源组的使用前提、基本概念、分类,以及连通性和性能问题。
1 使用前提
- 数据集成任务实际运行需依靠独享数据集成资源组。因此在使用数据集成功能前,需要先在控制台中开通独享数据集成资源组。操作详见:独享集成资源组管理。
- 当前需要数据源与独享数据集成资源组在同一个 VPC 网络中,或使用公网,详见配置网络连接。
2 基本概念
- 数据集成资源组:
是指数据集成的任务实际运行所在的计算资源组。通常资源组以机器的形式展现,即CPU、内存和带宽的大小。 - 调度资源组:
离线数据集成任务,需要通过调度资源组,将任务下发到数据集成资源组上运行。注意
流式集成任务,不需要使用调度资源组,仅需依靠独享数据集成资源组运行即可。
- 执行数据同步任务的流程如下:
- 从数据来源所在的机器抽取数据至资源组所在的机器。
- 资源组所在的机器将数据推送至目标数据源所在的机器。
3 计费说明
3.1 调度资源组:
公共调度资源组,在开通 DataLeap 产品服务后,即会自动提供公共调度资源组,计费方式为按量付费。
公共调度资源组的计费项为调度实例。所有被提交至调度系统所产生的各类型实例且运行成功的实例,均会纳入计量范围。不区分实例类型,每个运行成功的实例,均被记作1个实例。
调度资源组计费详见:资源组计费说明。
3.2 独享集成资源组:
独享集成资源组需另外单独购买,计费方式为包年包月形式,购买操作详见:独享集成资源组管理。
独享集成资源组 1CU 的单价为120元/月,最小售卖规格为4CU,更多计费和性能指标详见:资源组计费说明。
4 独享集成资源组使用
购买合适规格的独享集成资源组,且资源组状态为运行中后,您需要将其绑定到对应项目下,才可进行后续使用。
一个独享集成资源组允许绑定多个项目使用,一个项目,也支持绑定多个资源组。 绑定资源组有以下两种方式:
- 新建项目绑定资源组:在新建项目 > 服务绑定 > 数据集成资源组设置中,选择需要绑定的资源组。
- 修改已有项目资源组:DataLeap租户控制台 > 项目管理 > 具体项目的配置信息 ,进入后右上角单击编辑按钮,在编辑界面中,修改服务绑定下的数据集成资源组设置。
服务绑定操作详见:项目管理。
注意
- 修改服务绑定界面,替换已有独享集成资源组时,若原资源组上已有任务在使用时,替换后,已经运行的任务,将会继续运行在原来的独享集成资源组上。
- 资源组管理界面,删除独享集成资源组后,已有任务会是失败状态,您需要提前在任务配置中替换新的独享集成资源组并重新提交发布任务。
删除资源组操作详见:独享集成资源组管理