You need to enable JavaScript to run this app.
导航
跨项目任务迁移实践
最近更新时间:2024.12.27 14:27:24首次发布时间:2024.12.27 14:27:24

DataLeap 支持您通过发布中心 > 同步的能力,将源项目 A 中的任务及任务中的代码、调度参数、调度依赖等内容,跨项目迁移到目标项目 B 中。
本实践中,将为您介绍跨项目同步迁移相关操作。

1 约束限制

  • 当前项目需项目管理员,在项目控制台 > 同步设置界面中,开启同步设置功能后,方能进行发布包同步操作。详见同步设置
  • 仅支持同步已发布成功的发布包,对于未成功发布的发布包,不支持同步。
  • 首次新建任务时,不支持离线任务的上游依赖关系设置或来自上游任务的输入参数的同步
  • 更新或新建任务时,不支持任务所关联的资源(自注册数据源、通用程序、项目模板、资源文件),其具体的参数配置或关联文件的同步(如不支持资源关联的 jar 包、数据源的注册信息、项目模板的配置、任务模板的配置的同步)。
  • 工作流任务整体及内部子节点任务暂时不支持进行发布包同步操作。

2 前提条件

  • 已开通 DataOps 敏捷研发湖仓一体分布式数据自治服务。
  • 已创建源项目和目标接收项目,并在源项目中已创建相关任务。

3 源项目中同步设置操作步骤

  1. 登录 DataLeap租户控制台

  2. 单击左侧导航栏的项目管理,进入项目管理页面。

  3. 单击项目列表中迁移任务所在源项目的配置信息按钮,进入项目控制台
    Image

  4. 在项目控制台中,单击左侧导航栏的同步设置,进入同步设置页面。
    Image

  5. 在同步设置界面,打开同步设置开关,并创建允许同步本项目任务的目标项目。

  6. 单击创建项目按钮,进入项目配置页面,设置目标项目信息。
    相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

    参数

    说明

    *目标区域/项目

    下拉选择要同步本项目任务的目标项目,依次选择目标项目所在的区域和已创建的目标项目。

    说明

    • 目前仅支持同区域下的跨项目同步。
    • 目标项目可以配置多个,通过目标项目所在行的新增项目按钮,可以增加新的目标项目。

    *同步内容

    同步规则相关设置内容如下:

    • 任务映射:优先任务 ID 映射,如果目标项目中没有指定对应的任务 ID,则使用同名映射。

      说明

      若目标项目中,已存在需要替换的任务时,可单击任务 ID 映射详情按钮,可以编辑源项目任务和目标项目任务 ID 信息映射关系。在做任务同步和任务依赖关系同步时,都将按照此处的映射关系来寻找对应的任务。

    • 同步方式:支持默认、仅更新和仅新建三个选项,此处选择默认选项。
      • 默认:命中有任务 ID 映射规则时则更新,否则新建任务。
    • 同步后:支持保持草稿、自动提交和自动发布三个选项,您可按需进行选择。本实践中选择自动提交方式。
      • 保持草稿:为任务生成草稿版本。
      • 自动提交:自动提交任务,自动生成提交版本。
      • 自动发布:自动发布任务。

    新建设置

    对于新建任务的情况,可以设置任务在目标项目的目录、责任人、资源组和引擎实例。

    • 新建任务的目录:支持原目录、指定目录两个选项。
      • 当选择原目录时,如果没有目录,则在目标项目自动新建一个。
      • 当选择指定目录时,需自行选择一个目录,下拉可选目标项目下已创建的目录信息。
    • 新建任务的责任人:支持默认、指定人两个选项。
      • 当选择默认时,被同步到目标项目后,系统默认保持原责任人。若原责任人不是目标项目成员,则将项目 owner 设置为新的责任人。
      • 当选择指定人时,需自行选择一个责任人,输入账号关键词后下拉可选,选择的责任人需要在目标项目成员中。
    • 新建任务的调度资源组
      • 同步到目标项目的调度资源组:下拉可选目标项目中已添加的调度资源组。
    • 新建任务的计算资源组
      • 同步到目标项目的计算资源组:下拉可选目标项目中已添加的计算资源组。
    • 新建任务的数据集成资源组
      • 同步到目标项目的数据集成资源组:下拉可选目标项目已添加的数据集成资源组。
    • 新建任务的引擎实例
      • 下拉可选目标项目对应引擎类型下的引擎实例、计算组、队列相关信息已添加的数据集成资源组。

    说明

    • 关于资源组和引擎实例,同步的任务如果有使用资源组、或有绑定相关的引擎实例时,需要选择目标项目中所对应的资源信息,其他未绑定的可为空。

    更新设置

    对于更新任务的情况,可以设置更新的范围,提供以下选项,可多选:

    • 代码(不含set语句):默认选中,不可编辑。
    • 代码(set语句)
    • 基本信息(优先级、队列等)
    • 调度属性(调度周期、最早回溯时间、自动重跑等)
    • 依赖关系(上游任务、自依赖)
    • 输入输出参数
  7. 同步配置信息选择完成后,单击确定按钮完成同步设置。

4 源项目发布中心同步发布包

对于已发布成功的发布包,支持发布包跨项目同步操作,便可实现将发布包中的任务代码,批量更新或新建到另一项目下,替代人工复制粘贴的操作,提高开发效率。

4.1 提交发布已创建的任务

  1. 在项目控制台左上角全部产品中进入数据开发界面。
    Image
  2. 在数据开发任务目录树中,将需要跨项目迁移的任务进行提交并发布操作。提交任务操作详见5 提交上线
    Image

4.2 同步操作

任务提交并发布至运维中心后,您便可前往发布中心界面,操作跨项目同步操作。

  1. 在数据开发上方导航栏中,单击发布中心按钮,进入发布中心界面。

  2. 发布中心 > 发布包管理界面,批量勾选需要同步的发布包。

    说明

    您在创建发布包时,单击发布并同步按钮,同样也可以进行发布包的同步操作。

  3. 单击下方的同步按钮,进入代码同步的界面后,完成以下配置步骤:
    Image

    步骤

    说明

    步骤一

    选择同步内容

    选择同步内容,在任务选择列表中,勾选需要同步的任务,单击右上角下一步按钮,完成当前同步内容的选择。

    步骤二

    设置同步规则

    选择同步的目标区域/项目,并获取在项目控制台 > 同步设置中的默认同步规则配置信息,根据实际情况,您可对默认的同步规则配置进行相应的修改。各同步规则内容参数说明详见同步设置
    Image

    说明

    若项目控制台中,配置了多个目标项目时,可单击界面新增项目按钮,目标区域/项目可添加多个。

    对应的同步规则配置完成后,右上角单击下一步按钮,完成当前同步规则设置。

    步骤三

    预览并同步

    在最后预览界面中,单击操作列中的对比按钮,对比查看来源任务与目标任务的基本信息、调度信息、依赖关系等详细信息对比情况。提供两种对比模式:
    Image

    • 列表模式:对任务代码及配置信息进行抽象及归类,并以列表的形式展示;
    • 代码模式:将任务代码及配置信息,直接以Code Config的形式展示。

    来源和目标任务对比信息确认无误后,单击确定按钮,退出对比界面,并在右上角单击完成按钮,完成代码同步的所有配置。

  4. 代码同步配置完成后,单击右上角完成按钮,便可跳转发布中心 > 同步管理界面,查看最新的同步包名称和状态情况。同步包管理操作详见同步管理

5 目标项目验证迁移结果

同步操作完成后,您便可前往目标项目中查看同步迁移结果。

  1. 在上方导航栏中切换目标项目名称,并单击前往目标项目数据开发界面。
    Image
  2. 在目标项目数据开发目录树下,便可看到同步迁移后的任务情况,您可查看其任务代码、调度参数、调度依赖等信息是否和源项目一致。

    注意

    若首次同时迁移了多个互相存在依赖关系的任务,在首次从源项目同步迁移过来后,可能会出现下游任务依赖关系丢失的情况,这是因为目标项目中的任务本质是新建的,下游任务在自动寻找上游任务依赖时,可能会出现找不到的情况。所以首次同步迁移后依赖关系会丢失,您可参考4 源项目发布中心同步发布包中的步骤,再次进行相同任务的二次同步迁移操作,同步完成后,下游任务就能正常将目标项目中的上游任务添加为依赖。

    Image