Flink CDC

新版作业开发支持全新 Flink CDC 3.x，支持以 YAML 配置的方式进行作业开发，支持整库同步、分库分表同步、Schema 变更同步和数据转换 Transform 等功能。

Beta 发布

作业开发

新版作业开发功能，全新 UI 和交付风格，为开发者带来更好的 Flink 任务开发体验。当前支持 Flink CDC 开发。

Beta 发布

作业锁定

作业开发支持锁定功能，允许开发者多人并发的时候避免同时操作互相覆盖。

新增

文件管理

独立的文件管理模块，能够更加清晰、准确的管理所有 Flink 项目中的依赖文件。

新增

Session 集群

独立的 Session 集群管理模块，更加便利的管理用于调试的 Session 集群。

新增

灵活资源配比

当前作业提交任务的时候，支持灵活的 CPU 和内存资源配比。支持客户可以更精准的控制资源用量。

优化

业务延迟

云监控指标优化，业务延迟指标在 Kafka 维度下支持和 Kafka Lag 指标进行多指标复合，提升业务延迟指标告警的准确性。

优化

作业运维

在进入任务详情退出后，搜索条件不清空。

优化

版本选择

当前提交任务的时候默认会选择当前流式计算 Flink 引擎版本的主力版本。

优化

Paimon Catalog

支持 Paimon Catalog。

新增

任务跳过校验上线

SQL 任务支持跳过 SQL 代码深度校验，允许任务强制上线。

新增

Flink Python 任务

支持开发 Flink Python 类型任务。

新增

任务参数配置

任务配置参数增加提示，增加用户可读性。

优化

调度时长

任务上线时的调度时长参数增加提示，增加用户可读性。
调度时长表示再次调度的时间间隔，即任务拉起不成功会再次重试调度。

优化

任务资源用量

在任务列表页面，显示上线任务的 CPU 和 Memory 使用量，并支持按照升降序排列。

优化

任务日志

任务日志支持全屏化查看、下载到本地查看。

优化

项目融合

Flink 控制台的项目与火山引擎的项目融合，可以对不同业务或项目使用的云资源进行分组管理。

• 基于项目进行 IAM 授权，有利于维护资源独立、数据安全。
• 可从项目维度查看资源消费账单，便于计算云资源使用成本。

优化

新增 Flink Connector

新增 ByteHouse 连接器，包括云数仓版（bytehouse-cdw）和企业版（bytehouse-ce）

新增

支持外部 EMR Hive Catalog

Flink 控制台默认存在 Default Hive Catalog，现在也支持添加外部 EMR Hive Catalog。

新增

区分流批任务配置

根据任务类型自动区分任务配置参数。

优化

前端页面样式优化

优化产品概览页面。

• 提供常用项目便捷入口。
• 提供产品应用场景说明，增加云产品联动性。
• 提供最佳实践、快速入门等常用文档链接。

优化

支持小规格资源配置

配置 Task Manager 和 Job Manager 资源时，支持小规格资源配置，目前最小支持设置为 0.5 cu。

优化

Flink CDC Connector

新增 CDC 连接器，包括 MySQL CDC、MongoDB CDC、Postgres CDC、SQLServer CDC。

新增

支持任务失败自动拉起

任务运行过程中，如果出现异常导致整个任务运行失败，系统将根据配置的任务失败重试拉起策略尝试重新拉起任务。

• 最大重试拉起次数
• 重试拉起时间间隔

新增

资源池支持包年包月计费类型

支持创建包年包月计费类型的通用 VCI 资源池。
包年包月计费方式需要进行预付费，相较于按量计费价格更优惠。

新增

Flink 镜像缓存快照

默认支持 Flink 镜像缓存快照，能够提高容器启动速度。

新增

中心化架构优化

产品中心化架构调整，优化租户服务数量，极大地缩短产品初始化耗时。

优化

监控指标优化

补充 Flink 任务监控指标，更利于了解任务运行情况和排查故障问题。

优化

任务 Checkpoint 支持关闭

任务默认不启用 Checkpoint。
如需手动创建快照用于任务的失败恢复，需要开启 Checkpoint。开启时，可以设置 Checkpoint 间隔、超时时长等参数。

优化

任务重启策略

提供了多种任务重启策略，可根据业务需要选择合适的重启策略。

• 不重启策略
• 固定时间间隔重启策略
• 故障率重启策略
• 聚合故障率重启策略

新增

支持 Flink Batch 类型任务

新增 Flink Batch 类型任务，适配更多业务场景。

新增

元数据概览

提供元数据概览页，可以查看元数据表存储位置、表结构最近更新时间、表结构、分区列等信息。

新增

Flink 访问公网

在特殊场景下，需要 Flink 能访问其他云域公网资源。
在 Flink 参数配置中声明使用外部网络，并配置 SNAT 规则，即可实现公网访问。

新增

Flink 读写 TOS

Flink 提供了对象存储的读写能力。

新增

多引擎版本

支持 Flink V1.11 和 Flink V1.16 两个引擎版本，支持切换任务运行引擎。

新增

数据血缘

在任务开发侧，您可以配置上下游数据源信息，后续可在任务详情中查看数据血缘。

新增

任务版本管理

任务上线到运维侧，系统将会记录任务版本，支持版本对比、回滚历史版本。

新增

项目角色

新增项目普通用户（Project_Member）角色，仅对大部分项目资源有可读权限。

优化

产品初始化

更新产品初始化流程，需要关联 TOS 和 VPC。

更新

服务初始化

项目概览架构优化

• 项目独立，提供唯一的门户入口。
• 项目成员、角色和策略管理内置，以更方便的进行权限细粒度管控。

更新

• 项目管理
• 项目权限管理

IAM用户管理

支持导入 IAM 用户、移除 IAM 用户，导入的 IAM 用户可作为 Flink 项目成员。

新增

用户管理

项目管理

支持项目的创建、编辑、删除。

新增

项目管理

项目访问控制

项目是用于统一管理资源池、任务等资源的项目空间。不同项目相互隔离，相互独立。
主账号拥有其下所有项目及项目资源的权限；项目成员只拥有当前项目的相关权限。
项目内拥有独立的访问管控策略，使用“策略-角色-成员”的策略管控完整链路，保证成员权限最小化，实现项目内权限精细化控制。

新增

• 权限概述
• 成员管理
• 角色管理
• 策略管理

资源池管理

资源池是项目中用来管理计算资源的，资源池中的计算资源相互隔离，相互独立。
提交到资源池中的任务只能使用本资源池中的计算资源。
支持资源池的创建、删除。

新增

资源池管理

产品初始化

使用 Flink 产品前，需要先完成产品初始化，初始化过程需要关联 TOS 和 VPC。

新增

快速入门

工作空间管理

支持工作空间的创建、扩容、删除。

新增

工作空间管理