You need to enable JavaScript to run this app.
导航
任务基础属性
最近更新时间:2024.09.24 12:10:40首次发布时间:2024.04.24 16:20:48

1 概述

任务调度是指系统为了自动完成特定任务,在约定的特定时刻去执行任务的过程,有助于提高开发效率。调度设置分为基本信息、调度属性、依赖关系和输入输出参数等部分。
本文将为您介绍任务基础属性相关说明。

2 功能入口

  1. 登录 DataLeap租户控制台
  2. 概览界面,显示加入的项目中,单击数据开发进入对应项目。
  3. 任务开发界面,左侧导航栏中,双击打开某个离线任务,进入节点的编辑界面。
  4. 单击右侧导航栏的调度设置按钮,进入配置。

图片

3 基本信息

任务基本信息介绍如下表所示:

参数

描述

任务名称

显示创建任务时输入的任务名称,调度设置中不支持修改,可以在左侧任务目录树结构中,在任务名称的右侧更多入口中,单击重命名进行修改。

任务类型

不同引擎类型支持的任务类型不同。

引擎类型

支持 E-MapReduce(EMR)、湖仓一体分析服务 (LAS)、ByteHouse 企业版(ByteHouse CE)、ByteHouse 云数仓版(ByteHouse CDW)和流式计算 Flink 版几种引擎类型。

关联实例

当引擎类型为 EMR、ByteHouse CE、流式计算 Flink 版 时,同步显示项目关联的实例或引擎项目;
当引擎类型为 LAS 时,同步显示关联实例为 default。

任务描述

非必填,可对任务进行详细描述,方便后续查看和管理。

责任人

仅限一个成员,默认为任务创建人(任务执行失败、复查通过或者失败时的默认接收者),可根据实际需要,修改为其他项目成员。

  • 责任人需为项目中有编辑权限的成员,项目权限须由项目管理员授权。

    说明

    当选择的责任人在此处没有项目编辑权限,即仅为访客成员角色时,任何人均无法将任务提交至运维中心,包括项目管理员。

  • DataLeap 通过项目空间实现开发协同,项目中具有编辑权限的角色,可对项目下的所有任务进行编辑,因此无须通过为任务设置多个责任人,来达到协同合作的效果。

计算资源

当任务引擎类型为流式计算 Flink 时,需下拉选择任务运行所需的计算资源信息。流式计算 Flink 资源信息操作详见创建资源池

说明

已在流式计算 Flink 版控制台创建的资源池,需在 DataLeap 创建项目 > 引擎服务绑定时,进行资源池相关的绑定操作。详见创建项目

调度资源组

选择 DataLeap 平台提供的资源组,用于生成定时调度实例,提供公共调度资源组和独享调度资源组。其中:

  • 公共调度资源组,平台默认提供;
  • 独享调度资源组,您可根据实际情况自行购买,详见资源组管理

注意

Notebook、Python、Shell 类型任务中,若计算资源组为独享计算资源组时,调度资源组会置空,即这三类任务不用配置调度资源组。

是否使用项目模板

您可按需选择当前任务,是否使用项目控制台 > 模板管理中已创建的模板**。**您可通过模版管理,来提升新建任务时计算队列、优先级、Set 参数等内容的配置效率。

注意

目前仅 EMR Serverless Spark SQL 任务类型,支持选择使用项目模板,其余任务类型敬请期待。

项目模板

若任务选择使用项目模板,您需在此下拉选择已创建成功的模板名称信息,模板中配置的内容如计算资源队列、优先级等内容,可覆盖任务原有的配置,且这些配置在任务中不可进行修改。详见模板管理

注意

若您需要修改模板参数,您需前往项目控制台 > 模板管理进行修改,该操作会对所有使用该模板的任务生效,需谨慎操作。

LAS 队列

当作业类型为 LAS 引擎开发作业时显示,您可基于创建项目时绑定的引擎计算队列来下拉选择。

注意

  • 子账号选择LAS队列时,需要有队列使用权限,需主账号前往 LAS控制台-权限管理 授予子账号队列权限。
  • 当选中的队列,被命中“队列使用规范”限制时,则将会对任务的调试或上线等操作产生影响,您可前往项目控制台 > 队列管理 > 使用规范界面进行查看已创建的队列使用规范。详见队列管理

Yarn 队列

EMR 引擎包含 Yarn 组件的集群类型,如:Hadoop、Flink、TensorFlow 集群类型,支持下拉选择任务运行所需的 Yarn 队列信息。您可在创建项目 > 服务绑定 > EMR Yarn 队列绑定时,可添加绑定多个队列信息。详见创建项目

注意

  • EMR Yarn 队列的更多操作详见 YARN 队列管理
  • 当选中的队列,被命中“队列使用规范”限制时,则将会对任务的调试或上线等操作产生影响,您可前往项目控制台 > 队列管理 > 使用规范界面进行查看已创建的队列使用规范。详见队列管理

计算队列

当项目绑定引擎类型为 EMR Serverless Spark 时,需配置 EMR Serverless Spark Jar、EMR Serverless Spark SQL 作业使用的 Spark 计算队列信息。支持下拉选择项目控制台中已绑定的计算队列信息。Spark 计算队列操作详见队列管理

计算组

下拉选择已绑定至当前项目中,且在 ByteHouse_CDW 控制台中查询使用的计算组。计算组创建详见 ByteHouse CDW 计算组

优先级

您可通过设置任务优先级,指定当前任务分配的调度资源优先级:

  • 等级数字越小,代表优先级等级越高。
  • 其中 D3~D5 等级,您可直接在调度设置页面中设置。
  • D1~D2需要在治理平台完成 SLA 签署后,才能设置。SLA 签署详见 SLA 保障

说明

流式任务优先级,目前仅支持设置 D3~D5 等级,更高优先级敬请期待。

标签

您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。

  • 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。
  • 若没有可选的标签组,您可进行以下操作步骤:
    a. 进入 DataLeap 智能市场 > 任务标签管理,进入任务标签管理控制台,新建标签组。详见任务标签管理
    b. 新建标签组成功后,前往项目管理 > 具体项目的配置信息 > 标签管理来添加标签组。详见标签管理

4 后续操作

任务基本信息配置完成后,您可继续配置任务调度属性。详见任务调度属性