同步功能主要适用于如下场景:
- 跨区域/跨项目任务代码复制,具体包括:
- 在测试环境进行代码开发,验证通过后,需要手动将开发完成的代码一一复制到生产环境并进行部署、发布。
- 在同一个环境下创建两个项目,一个用作代码开发,一个用作生产部署。将开发项目下的代码手动一一复制到生产项目下并进行部署发布。
- 跨区域业务需要一份代码多地部署,如将华北的任务代码,批量在华东进行部署。
- 项目初始化时批量新建任务,具体包括:
- 新区域部署后,需要将任务代码进行迁移或复制,在新项目下批量创建,完成项目初始化。
由于目标项目与源项目的项目成员、文件目录等信息存在差异,为避免同步到目标项目后频繁进行修改,可以通过本功能设置默认的同步规则,开发者在同步时将默认采用设置的规则同步。
1 约束限制
仅项目管理员可以进行同步配置。
2 前提条件
已开通 DataOps 敏捷研发、湖仓一体或分布式数据自治服务。
3 操作步骤
- 登录 DataLeap 控制台。
- 单击左侧导航栏的项目管理,进入项目管理页面。
- 勾选我管理的选项,显示由您管理的项目列表。
- 单击项目列表中要管理项目操作列的任一按钮,进入项目控制台。
- 单击左侧导航栏的同步设置,进入同步设置页面。
- 创建允许同步本项目实体的目标项目。
单击创建项目按钮,进入项目配置页面,设置目标项目信息。
相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
参数 | 说明 |
---|
*目标区域/项目 | 要同步本项目实体的目标项目,下拉依次可选已开通的区域和已创建的项目。
目标项目可以配置多个。通过目标项目所在行的新增项目按钮,可以增加新的目标项目。 |
*同步内容 | 目前仅支持任务。
同步规则相关设置内容如下: - 任务映射:优先任务ID映射,如果没有指定对应的任务ID,则使用同名映射。
单击任务ID映射详情按钮,可以编辑ID映射关系。在做任务同步和任务依赖关系同步时,都将按照此处的映射关系来寻找对应的任务。 - 同步方式:支持默认、仅更新和仅新建三个选项。
- 默认:有映射则更新,否则新建。
- 仅更新:仅更新能找到映射的,未找到映射的任务不同步。
- 仅新建:仅新建任务,能找到映射的任务不同步。
- 同步后:支持保持草稿、自动提交和自动发布三个选项。
- 保持草稿:为任务生成草稿版本。
- 自动提交:自动提交任务,自动生成提交版本。
- 自动发布:自动发布任务。
|
新建设置 | 对于新建任务的情况,可以设置任务在目标项目的目录、责任人、资源组和引擎实例。 - 新建任务的目录:支持原目录、指定目录两个选项。
- 当选择原目录时,如果没有目录,则在目标项目自动新建一个。
- 当选择指定目录时,需自行选择一个目录,下拉可选目标项目下已有目录。
- 新建任务的责任人:支持默认、指定人两个选项。
- 当选择默认时,被同步到目标项目后,系统默认保持原责任人。若原责任人不是目标项目成员,则将项目owner设置为新的责任人。
- 当选择指定人时,需自行选择一个责任人,输入账号关键词后下拉可选。
- 新建任务的调度资源组
- 任务在本项目的调度资源组:自动显示本项目支持的调度资源组。
- 同步到目标项目的调度资源组:下拉可选目标项目中已添加的调度资源组。
- 新建任务的计算资源组
- 任务在本项目的计算资源组:自动显示本项目支持的计算资源组。
- 同步到目标项目的计算资源组:下拉可选目标项目中已添加的计算资源组。
- 新建任务的数据集成资源组
- 任务在本项目的数据集成资源组:自动显示本项目支持的数据集成资源组。
- 同步到目标项目的数据集成资源组:下拉可选目标项目中已添加的数据集成资源组。
- 新建任务的引擎实例
- 引擎类型:自动显示本项目绑定的引擎类型。
- 任务在本项目的引擎实例:自动显示本项目绑定的引擎实例。
- 同步到目标项目的引擎实例:下拉可选目标项目绑定的同名引擎实例。
说明 - 关于资源组和引擎实例,同步的任务如果有使用资源组、或有绑定相关的引擎实例时,需要选择目标项目中所对应的资源信息,其他未绑定的可为空。
|
更新设置 | 对于更新任务的情况,可以设置更新的范围,提供以下选项,可多选: - 代码(不含set语句):默认选中,不可编辑。
- 代码(set语句)
- 基本信息(优先级、队列等)
- 调度属性(调度周期、最早回溯时间、自动重跑等)
- 依赖关系(上游任务、自依赖)
- 输入输出参数
|
单击确定按钮完成同步设置。
- 单击同步设置开关按钮开启同步,即可在本项目下启用此功能。
4 后续操作
同步设置完成后,可以到发布中心执行任务同步操作。