You need to enable JavaScript to run this app.
导航
任务调度属性
最近更新时间:2024.09.24 12:10:40首次发布时间:2024.04.24 16:20:49

1 概述

调度属性是 DataLeap 任务执行时所需的相关配置,您可在此配置调度类型、调度生效日期、任务执行频率、失败重跑次数等任务周期执行或手动执行时的相关属性。
本文将为您介绍任务执行时的具体配置说明。

2 功能入口

  1. 登录 DataLeap租户控制台
  2. 概览界面,显示加入的项目中,单击数据开发进入对应项目。
  3. 任务开发界面,左侧导航栏中,双击打开某个离线任务,进入节点的编辑界面。
  4. 单击右侧导航栏的调度设置按钮,进入配置。

图片

3 调度属性

任务执行时的调度属性介绍如下表所示:

参数

描述

调度状态

分为开启和关闭,默认开启。
开启代表任务可以被调度,关闭代表任务不可以被调度。
您可前往运维中心操作关闭或开启任务调度。

调度类型

  • 周期调度:上游任务成功后,根据设定的频率和执行时间,任务自动开始执行。
  • 手动调度:系统不会自动调度,需手动执行。手动执行的操作入口为 运维中心 > 离线任务运维 > 上线任务 > 数据回溯

调度生效日期

当调度类型选择周期调度时,可对调度的生效时间范围进行设置,不在生效日期范围内时,将不会生成任务实例。

执行频率&执行时间

  • 准实时:执行时间需要设置时间间隔和执行时刻,时间间隔目前支持选择 1分钟、2分钟、3分钟、4分钟、5分钟级别,执行时刻设定的是分钟和秒。

    注意

    • 准实时执行频率,目前仅 EMR StarRocks SQL(半托管)任务类型支持选择。
    • 准实时任务仅能依赖同样是准实时频率的任务,无法依赖分钟级及以上频率任务。因此,您需特别注意当前任务是否存在上下游依赖关系,在准实时和其余执行频率做切换时,会将当前任务的依赖关系清除。依赖设置详见4 任务上游依赖设置
  • 分钟级:执行时间需要设置时间间隔和执行时刻,时间间隔目前支持选择5分钟、10分钟、15分钟、20分钟、30分钟级别。

    说明

    执行时刻应选择低于时间间隔粒度,如10分钟级别调度,执行时刻支持选择 0~9 分。

  • 小时级:执行时间需要设置执行小时和执行时刻,执行小时支持多选。
  • 天级:执行时间需要设置具体的时间。
  • 周级:执行日期需要设置每周几来执行,支持多选,还需选择具体执行时间。
  • 月级:执行日期需要设置每月几号来执行,支持多选,还需选择具体执行时间。

小时区间&区间范围

当调度类型选择周期调度,执行频率选择分钟级时,可按需选择是否开启小时区间设置。
开启小时区间设置后,需设定分钟级任务执行的小时区间范围信息。

注意

小时区间设定的开始时间要小于结束时间,暂不支持跨天形式的时间设置。

分时调度&调度时段

当调度类型选择周期调度,执行频率选择分钟级或者小时级时,出现分时调度属性。
启用分时调度,设定运行时间不在分时调度时段内的实例,将在下一个时段开始时才提交调度,以缓解非指定时段的执行压力。
调度时段设置,举例:

  1. 分时调度区间为6:00 ~ 22:00,若有一个设定运行时间为23:00的实例,将延迟到第二天6:00才提交调度执行。
  2. 分时调度区间为22:00 ~ 6:00(当日晚上10点 ~ 次日早上6点),若有一个设定运行时间为7:00的实例,将延迟到当天22:00提交调度执行。

最早回溯时间

可重跑的历史数据的最早时间。设定后,最早回溯时间之前的实例将无法生成。

空跑设置

当某任务逻辑暂时无需运行,但又不想改动整个数据链路关系时,可将其设置为空跑,此时该任务会直接置为成功。
在DAG整体工作流程中,通过将子节点设置为空跑,可达到临时移除子节点的效果。

重试触发条件

系统提供失败和单次运行超时两种重试触发条件:

  • 失败:任务运行失败,若有剩余重试次数,则自动进行重试。
  • 单次运行超时:任务运行耗时超过设定阈值,若有剩余重试次数,则自动进行重试。

失败重跑次数

任务失败后重试的次数。若重试运行时间超过48小时,系统将自动结束该实例。

重跑时间间隔

任务失败后重试的时间间隔。

最大并发控制

是指单任务最大并发,即任务可同时运行的最大实例个数。实际可执行的实例个数,除受该任务最大并发限制之外,还受系统总并发实例数影响。

数据回溯建议

标记该任务是否可进行数据回溯,包括允许回溯谨慎回溯
若选择谨慎回溯,需输入谨慎操作的原因,并设置谨慎回溯的类型:

  • 弹框二次确认:对任务进行回溯/重跑操作时,系统将出现弹框二次确认提示;
  • 责任人审批:
    • 责任人发起回溯/重跑,出现弹框提示,用户进行二次确认;
    • 非责任人发起回溯/重跑,提示用户任务需要经过责任人审批。

4 后续操作

任务调度属性信息配置完成后,您可继续配置任务调度依赖。详见任务调度依赖