You need to enable JavaScript to run this app.
导航
上线 Flink 任务
最近更新时间:2024.04.01 15:26:07首次发布时间:2022.11.11 17:16:16

开发和生产环境隔离,当任务开发人员完成开发和调试后,可以将任务上线到生产环境。

前提条件

提前创建好 Flink 资源池,请参见创建通用-VCI 资源池

注意事项

Flink Batch 任务不支持 GANG 调度策略,仅支持 DRF 调度策略。

操作步骤

  1. 登录流式计算 Flink 版控制台

  2. 在顶部菜单栏选择目标地域。

  3. 在左侧导航栏选择项目管理,在搜索框中根据项目名称进行模糊搜索,然后单击项目区块进入项目。

  4. 在项目左侧导航栏选择任务开发 > Jupyter lab

  5. 任务开发页面下查找并单击目标任务,然后在编辑区上方选择正确的执行方式引擎版本,再单击上线

    说明

    Flink Stream 类型任务选择执行方式为 STREAMING;Flink Batch 类型任务选择执行方式为 BATCH

    图片

  6. 任务上线设置对话框,选择运行资源池、设置任务优先级调度策略,然后单击确定
    执行任务上线操作后,系统会提示任务上线成功,可以前往任务管理页面查看;任务上线后,将展示在任务列表第一个。
    图片

    配置

    说明

    运行资源池

    从下拉列表中选择任务运行的 Flink 资源池。

    注意

    如果您提交的任务开启了自动调优,则必须运行在按量付费类型的资源池。

    任务优先级

    系统默认预置的优先级为 L3,您可以按需设置任务优先级,数字越小优先级越高。
    任务优先级决定了任务内部的调度顺序,优先级高的任务先被调度,即 L3 先于 L4 被调度。

    调度策略

    根据需求配置任务调度策略:

    • GANG:保证任务的所有实例被一起调度,即当剩余资源满足任务正常运行所需资源时才进行分配;不满足所需资源则不分配。
      该策略不会出现分配资源后,任务却不能启动的现象,解决了资源死锁问题。

      说明

      Flink Batch 任务不支持 GANG 调度策略,仅支持 DRF 调度策略。执行方式选择为 Batch,上线配置页面不会展示 GANG 策略。

    • DRF:从多维资源考虑,更为合理地将资源公平分配给资源池内的各个任务,从而提升利用率。
      例如:剩余10 核 40 GB 的资源,A 任务需要10 核 20 GB 资源;B 任务需要 2 核 8 GB 的资源。如果分配给 A,剩余 0 核 20 GB 资源无法被利用;DRF 策略会选择分配给 B,剩下 8 核 32 GB 可以继续给后来任务使用。

    调度时长

    设置为 GANG 调度策略时,需要设置调度时长。调度时长表示再次调度的时间间隔,即任务拉起不成功会再次重试调度。
    如果超过调度时长,任务就会调度失败。如果设置为 0,则会一直重试。

    更多配置

    SQL 任务支持在上线前跳过深度检查,允许任务强制上线。
    默认不勾选。勾选跳过上线前检查后,表示将跳过 SQL 代码深度检查,任务将会直接上线。

后续操作

任务上线后,您可以在任务管理页面进行任务启动、停止、下线、查看 Flink UI、查看任务资源消耗等操作。
具体操作,请参见作业基础操作