任务调度是指系统为了自动完成特定任务,在约定的特定时刻去执行任务的过程,有助于提高开发效率。调度设置分为基本信息、调度属性、依赖关系和输入输出参数等部分。
本文将为您介绍任务基础属性相关说明。
任务基本信息介绍如下表所示:
参数 | 描述 |
---|---|
任务名称 | 显示创建任务时输入的任务名称,调度设置中不支持修改,可以在左侧任务目录树结构中,在任务名称的右侧更多入口中,单击重命名进行修改。 |
任务类型 | 不同引擎类型支持的任务类型不同。 |
引擎类型 | 支持 E-MapReduce(EMR)、湖仓一体分析服务 (LAS)、ByteHouse 企业版(ByteHouse CE)、ByteHouse 云数仓版(ByteHouse CDW)和流式计算 Flink 版几种引擎类型。 |
关联实例 | 当引擎类型为 EMR、ByteHouse CE、流式计算 Flink 版 时,同步显示项目关联的实例或引擎项目; |
任务描述 | 非必填,可对任务进行详细描述,方便后续查看和管理。 |
责任人 | 仅限一个成员,默认为任务创建人(任务执行失败、复查通过或者失败时的默认接收者),可根据实际需要,修改为其他项目成员。
|
计算资源 | 当任务引擎类型为流式计算 Flink 版时,需下拉选择任务运行所需的计算资源信息。流式计算 Flink 资源信息操作详见创建资源池。 说明 已在流式计算 Flink 版控制台创建的资源池,需在 DataLeap 创建项目 > 引擎服务绑定时,进行资源池相关的绑定操作。详见创建项目。 |
调度资源组 | 选择 DataLeap 平台提供的资源组,用于生成定时调度实例,提供公共调度资源组和独享调度资源组。其中:
注意 Notebook、Python、Shell 类型任务中,若计算资源组为独享计算资源组时,调度资源组会置空,即这三类任务不用配置调度资源组。 |
是否使用项目模板 | 您可按需选择当前任务,是否使用项目控制台 > 模板管理中已创建的模板**。**您可通过模版管理,来提升新建任务时计算队列、优先级、Set 参数等内容的配置效率。 注意 目前仅 EMR Serverless Spark SQL 任务类型,支持选择使用项目模板,其余任务类型敬请期待。 |
项目模板 | 若任务选择使用项目模板,您需在此下拉选择已创建成功的模板名称信息,模板中配置的内容如计算资源队列、优先级等内容,可覆盖任务原有的配置,且这些配置在任务中不可进行修改。详见模板管理。 注意 若您需要修改模板参数,您需前往项目控制台 > 模板管理进行修改,该操作会对所有使用该模板的任务生效,需谨慎操作。 |
LAS 队列 | 当作业类型为 LAS 引擎开发作业时显示,您可基于创建项目时绑定的引擎计算队列来下拉选择。 注意
|
Yarn 队列 | EMR 引擎包含 Yarn 组件的集群类型,如:Hadoop、Flink、TensorFlow 集群类型,支持下拉选择任务运行所需的 Yarn 队列信息。您可在创建项目 > 服务绑定 > EMR Yarn 队列绑定时,可添加绑定多个队列信息。详见创建项目。 |
计算队列 | 当项目绑定引擎类型为 EMR Serverless Spark 时,需配置 EMR Serverless Spark Jar、EMR Serverless Spark SQL 作业使用的 Spark 计算队列信息。支持下拉选择项目控制台中已绑定的计算队列信息。Spark 计算队列操作详见队列管理。 |
计算组 | 下拉选择已绑定至当前项目中,且在 ByteHouse_CDW 控制台中查询使用的计算组。计算组创建详见 ByteHouse CDW 计算组。 |
优先级 | 您可通过设置任务优先级,指定当前任务分配的调度资源优先级: 说明 流式任务优先级,目前仅支持设置 D3~D5 等级,更高优先级敬请期待。 |
标签 | 您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。
|
任务基本信息配置完成后,您可继续配置任务调度属性。详见任务调度属性