在实时整库 CDC、分库分表、离线整库解决方案场景中,通常会遇到较多来源端新增表、新增列等 DDL 操作场景。解决方案支持您根据实际业务场景,对来源端不同的 DDL 消息,在配置解决方案同步到目标端数据源时,可进行预设不同的处理策略。
目前 DataLeap 实时整库、实时分库分表、离线整库同步解决方案中,支持的 DDL 处理策略如下:
同步方案 | 数据源通道 | 新建表 | 新增列 | 删除列 | 重命名列 | 修改列类型 |
---|---|---|---|---|---|---|
实时整库 | MySQL2Doris | 支持 | 支持 | 支持 | - | 支持 |
MySQL2StarRocks | 支持 | 支持 | 支持 | - | 支持 | |
MySQL2ByteHouse_CDW | 支持 | 支持 | 支持 | 支持 | 支持 | |
MySQL2ByteHouse_CE | 支持 | 支持 | - | - | 支持 | |
VeDB2Doris | 支持 | 支持 | 支持 | - | 支持 | |
VeDB2StarRocks | 支持 | 支持 | 支持 | - | 支持 | |
VeDB2ByteHouse_CDW | 支持 | 支持 | 支持 | 支持 | 支持 | |
VeDB2ByteHouse_CE | 支持 | 支持 | - | - | 支持 | |
PostgreSQL(带Kafka缓存)2StarRocks | 支持 | 支持 | 支持 | - | 支持 | |
PostgreSQL2ByteHouse_CDW | 支持 | 支持 | 支持 | 支持 | 支持 | |
实时分库分表 | MySQL2Doris | - | 支持 | - | - | 支持 |
MySQL2StarRocks | - | 支持 | - | - | 支持 | |
MySQL2ByteHouse_CDW | - | 支持 | - | - | 支持 | |
VeDB2Doris | - | 支持 | - | - | 支持 | |
VeDB2StarRocks | - | 支持 | - | - | 支持 | |
VeDB2ByteHouse_CDW | - | 支持 | - | - | 支持 | |
PostgreSQL(带Kafka缓存)2StarRocks | - | 支持 | - | - | 支持 | |
PostgreSQL(带Kafka缓存)2ByteHouse_CDW | - | 支持 | - | - | 支持 | |
离线整库 | PostgreSQL2Hive | 支持 | 支持 | - | - | 支持 |
说明
不同 DDL 消息处理策略支持情况如下:
DDL 消息 | 自动处理 | 忽略变更 | 日志告警 | 任务出错 |
---|---|---|---|---|
新建表 | ✅ | ✅ | ✅ | ✅ |
删除表 | ✅ | |||
重命名表 | ✅ | |||
新增列 | ✅ | ✅ | ✅ | ✅ |
删除列 | ✅ | ✅ | ✅ | ✅ |
重命名列 | ✅ | ✅ | ✅ | ✅ |
修改列类型 | ✅ | ✅ | ✅ | ✅ |
清空表 | ✅ |
处理策略说明如下:
在解决方案中配置 DDL 策略操作如下:
如需对已创建的任务进行 DDL 策略修改,您可按以下操作步骤进行修改:
解决方案重启成功后,您可在源端对来源表进行新增列操作,在目标表中进行验收即可。