1 概述
调度属性是 DataLeap 任务执行时所需的相关配置,您可在此配置调度类型、调度生效日期、任务执行频率、失败重跑次数等任务周期执行或手动执行时的相关属性。
本文将为您介绍任务执行时的具体配置说明。
2 功能入口
- 登录 DataLeap租户控制台 。
- 在概览界面,显示加入的项目中,单击数据开发进入对应项目。
- 在任务开发界面,左侧导航栏中,双击打开某个离线任务,进入节点的编辑界面。
- 单击右侧导航栏的调度设置按钮,进入配置。
3 调度属性
任务执行时的调度属性介绍如下表所示:
参数 | 描述 |
---|
调度状态 | 分为开启和关闭,默认开启。
开启代表任务可以被调度,关闭代表任务不可以被调度。
您可前往运维中心操作关闭或开启任务调度。 |
调度类型 | - 周期调度:上游任务成功后,根据设定的频率和执行时间,任务自动开始执行。
- 手动调度:系统不会自动调度,需手动执行。手动执行的操作入口为 运维中心 > 离线任务运维 > 上线任务 > 数据回溯 。
|
调度生效日期 | 当调度类型选择周期调度时,可对调度的生效时间范围进行设置,不在生效日期范围内时,将不会生成任务实例。 |
执行频率&执行时间 | - 准实时:执行时间需要设置时间间隔和执行时刻,时间间隔目前支持选择 1分钟、2分钟、3分钟、4分钟、5分钟级别,执行时刻设定的是分钟和秒。
注意 - 准实时执行频率,目前仅 EMR StarRocks SQL(半托管)任务类型支持选择。
- 准实时任务仅能依赖同样是准实时频率的任务,无法依赖分钟级及以上频率任务。因此,您需特别注意当前任务是否存在上下游依赖关系,在准实时和其余执行频率做切换时,会将当前任务的依赖关系清除。依赖设置详见4 任务上游依赖设置。
- 分钟级:执行时间需要设置时间间隔和执行时刻,时间间隔目前支持选择5分钟、10分钟、15分钟、20分钟、30分钟级别。
说明 执行时刻应选择低于时间间隔粒度,如10分钟级别调度,执行时刻支持选择 0~9 分。 - 小时级:执行时间需要设置执行小时和执行时刻,执行小时支持多选。
- 天级:执行时间需要设置具体的时间。
- 周级:执行日期需要设置每周几来执行,支持多选,还需选择具体执行时间。
- 月级:执行日期需要设置每月几号来执行,支持多选,还需选择具体执行时间。
|
小时区间&区间范围 | 当调度类型选择周期调度,执行频率选择分钟级时,可按需选择是否开启小时区间设置。
开启小时区间设置后,需设定分钟级任务执行的小时区间范围信息。 注意 小时区间设定的开始时间要小于结束时间,暂不支持跨天形式的时间设置。 |
分时调度&调度时段 | 当调度类型选择周期调度,执行频率选择分钟级或者小时级时,出现分时调度属性。
启用分时调度,设定运行时间不在分时调度时段内的实例,将在下一个时段开始时才提交调度,以缓解非指定时段的执行压力。
调度时段设置,举例: - 分时调度区间为6:00 ~ 22:00,若有一个设定运行时间为23:00的实例,将延迟到第二天6:00才提交调度执行。
- 分时调度区间为22:00 ~ 6:00(当日晚上10点 ~ 次日早上6点),若有一个设定运行时间为7:00的实例,将延迟到当天22:00提交调度执行。
|
最早回溯时间 | 可重跑的历史数据的最早时间。设定后,最早回溯时间之前的实例将无法生成。 |
空跑设置 | 当某任务逻辑暂时无需运行,但又不想改动整个数据链路关系时,可将其设置为空跑,此时该任务会直接置为成功。
在DAG整体工作流程中,通过将子节点设置为空跑,可达到临时移除子节点的效果。 |
重试触发条件 | 系统提供失败和单次运行超时两种重试触发条件: - 失败:任务运行失败,若有剩余重试次数,则自动进行重试。
- 单次运行超时:任务运行耗时超过设定阈值,若有剩余重试次数,则自动进行重试。
|
失败重跑次数 | 任务失败后重试的次数。若重试运行时间超过48小时,系统将自动结束该实例。 |
重跑时间间隔 | 任务失败后重试的时间间隔。 |
最大并发控制 | 是指单任务最大并发,即任务可同时运行的最大实例个数。实际可执行的实例个数,除受该任务最大并发限制之外,还受系统总并发实例数影响。 |
数据回溯建议 | 标记该任务是否可进行数据回溯,包括允许回溯和谨慎回溯。
若选择谨慎回溯,需输入谨慎操作的原因,并设置谨慎回溯的类型: - 弹框二次确认:对任务进行回溯/重跑操作时,系统将出现弹框二次确认提示;
- 责任人审批:
- 责任人发起回溯/重跑,出现弹框提示,用户进行二次确认;
- 非责任人发起回溯/重跑,提示用户任务需要经过责任人审批。
|
4 后续操作
任务调度属性信息配置完成后,您可继续配置任务调度依赖。详见任务调度依赖