You need to enable JavaScript to run this app.
导航
Session 集群
最近更新时间:2024.10.23 20:28:34首次发布时间:2024.10.23 20:28:34

Session 集群是预先启动并持续运行的集群,可供多个作业在不同时间提交并共享资源执行,能减少作业启动的时间开销。而在本产品中 Session 集群主要是为了 Flink 用户快速调试 SQL 代码,诊断代码问题的工具。

功能限制

  • 仅 Flink Stream SQL 任务类型支持使用 Session 集群调试任务。
    当您选择执行方式为 STREAMING,将会展示 Session 调试调试资源池入口。如果选择执行方式为 Batch,则会隐藏。
    Image
  • CTAS 和 CDAS 语法不支持调试任务。
  • Session 调试任务运行 30 分钟后,将会自动停止运行。

注意事项

Session 集群仅作为开发测试环境,不建议将 Session 集群用于正式的生产环境。

前提条件

调试任务一般是由开发人员(Project_Dev)进行,需要已添加项目成员并为其关联角色,请参见添加项目成员

创建 Session 集群

  1. 登录流式计算 Flink 版控制台
  2. 在顶部菜单栏选择目标地域。
  3. 在左侧导航栏选择项目管理,然后单击项目区块进入项目。
  4. 在项目左侧导航栏选择资源管理 > Session 集群
  5. Session 集群页面,单击创建 Session 集群
  6. 创建资源池面板,设置基础配置资源配置的关键参数,然后单击确定

Image

配置

说明

基础配置:必填参数。

集群名称

自定义设置 Session 集群名称。
支持小写字母、数字和短横线(-),且必须以小写字母或数字开头和结尾,字符长度范围为 2 ~ 63。

Flink 资源池选择

从下拉列表中选择目标 Flink 资源池。

引擎版本

目前支持 Flink 1.16-volcanoFlink 1.11-volcano 版本,建议选择与任务的引擎版本一致,否则调试任务时会提示引擎版本不匹配。

资源配置:选填参数,系统已有默认基础资源配置。

Task Manager 设置

Task Manager 最小数量

TaskManager 的最小数量,默认为 1,支持调整为 0。

Task Manager 最大数量

TaskManager 的最小数量,默认为 10。

CPU

TaskManager 的 CPU 核数,默认值为 2,最小值为 0.5。

内存

TaskManager 的内存大小,将根据您设置的 CPU 核数自动调整,呈 1C4G 的关系。

Slot 数量

推荐单 Slot 使用资源不少于 1 核 4 GiB,每个 Task Manager 可以配置 2 个 Slot。

Job Manager 设置

CPU

JobManager 的 CPU 核数,默认值为 1 核,最小值为 0.5。

内存

JobManager 的内存大小,将根据您设置的 CPU 核数自动调整,呈 1C4G 的关系

自定义参数

根据需要可自定义设置参数,格式为 Key-Value。

管理 Session 集群

资源管理 > Session 集群模块可以查看并管理当前项目下所有的 Session 集群。可以查看 Session 集群的名称、ID、状态、引擎版本、CPU、内存等信息。
Image
Session 集群创建后,支持按需执行以下操作:

  • 查看详情:单击资源池名称,即可查看资源池配置详情。
  • 启停 Session 集群:按需控制资源池的启停状态。注意如果长期不需要调试 SQL 任务,建议可以停止。
  • 查看 Flink UI:在资源池运行状态下,可以单击 Flink UI,查看资源池上调试任务的运行详情。
  • 编辑资源池:在资源池停止状态下,可以修改资源池配置,支持切引擎版本和调整资源配置。
  • 删除资源池:在资源池停止状态下,可以删除资源池。