任务验证功能只能校验 SQL 语法正确性,无法完全规避代码运行中可能出现的错误,在 Flink Stream SQL 任务上线前,强烈建议完成任务调试,从而降低数据质量风险、提升开发效率。
系统提供线上数据和离线数据两种任务调试方式,请按需选择。
Session 集群仅作为开发测试环境,不建议将 Session 集群用于正式的生产环境。
调试任务一般是由开发人员(Project_Dev)进行,需要已添加项目成员并为其关联角色,请参见添加项目成员。
在顶部菜单栏选择目标地域。
在左侧导航栏选择项目管理,然后单击项目区块进入项目。
在项目左侧导航栏选择任务开发 > Jupyter lab。
在任务开发页面下,选择目标 Flink Stream SQL 任务,设置执行方式为 STREAMING,并选择正确的引擎版本。
在任务编辑区域右侧,单击调试资源池。
在 Session资源池页面,单击创建资源池。
在创建资源池面板,设置基础配置和资源配置的关键参数,然后单击确定。
配置 | 说明 | |
---|---|---|
基础配置:必填参数。 | ||
资源池名称 | 自定义设置 Session 资源池名称。 | |
Flink资源池选择 | 从下拉列表中选择目标 Flink 资源池。 | |
引擎版本 | 目前支持 Flink 1.11-volcano 和 Flink 1.16-volcano 版本,建议选择与任务的引擎版本一致,否则调试任务时会提示引擎版本不匹配。 | |
资源配置:选填参数,系统已有默认基础资源配置。 | ||
Task Manager 设置 | Task Manager 最小数量 | TaskManager 的最小数量,默认为 1,支持调整为 0。 |
Task Manager 最大数量 | TaskManager 的最小数量,默认为 10。 | |
CPU | TaskManager 的 CPU 核数,默认值为 2,最小值为 0.5。 | |
内存 | TaskManager 的内存大小,将根据您设置的 CPU 核数自动调整,呈 1C4G 的关系。 | |
Slot 数量 | 推荐单 Slot 使用资源不少于 1 核 4 GiB,每个 Task Manager 可以配置 2 个 Slot。 | |
Job Manager 设置 | CPU | JobManager 的 CPU 核数,默认值为 1 核,最小值为 0.5。 |
内存 | JobManager 的内存大小,将根据您设置的 CPU 核数自动调整,呈 1C4G 的关系 | |
自定义参数 | 根据需要可自定义设置参数,格式为 Key-Value。 |
创建完成返回 Session 资源池列表页面,单击操作列下的启动按钮。
Session 资源池创建后,默认为未启动状态,需要您启动资源池。
说明
您仅能选择与任务引擎版本一致的 Session 资源池,当两者引擎版本不一致时呈置灰状态不可选择,且给出相应提示语。
系统根据任务的 SQL 语句生成调试数据模板(.csv
文件),您可以下载模板并填写调试数据,然后上传到控制台进行调试,从而判断调试结果是否与预期结果一致。
说明
在任务编辑区下方,您可以查看调试结果:
当调试任务失败时,将会返回失败原因。请根据提示解决问题后,重新进行 Session 调试任务。
Session 资源池创建后,支持按需执行以下操作: