订阅方案概览--数据库传输服务-火山引擎

文档中心

导航

数据库传输服务

订阅方案概览

最近更新时间：2024.11.28 17:46:51首次发布时间：2022.09.01 09:54:04

通过数据订阅，您可以实时获取源数据库（例如公网自建 MySQL、RDS MySQL、veDB MySQL、公网自建 PostgreSQL、PosrgreSQL）的增量数据，并可以按需自由消费增量数据，适用于业务异步解耦等场景。本文介绍火山引擎数据库传输服务 DTS 支持的源数据库的类型、版本、接入方式和支持订阅的数据类型等。

订阅类型说明

订阅类型	说明
全量订阅	全量读取源表内容转化成 ProtoBuf 结构，当前支持火山引擎 Proto 、 Canal Proto、Canal JSON 和 Avro 订阅格式，并推送到对应的消息队列中。
增量订阅	解析源库的增量日志转换成 ProtoBuf 结构，当前支持火山引擎 Proto 、 Canal Proto、Canal JSON 和 Avro 订阅格式，并推送到对应的消息队列中。
库表结构订阅	源库表结构转换成 ProtoBuf 结构，当前支持火山引擎 Proto 、 Canal Proto、Canal JSON 和 Avro 订阅格式，并推送到消息队列中。

订阅状态说明

任务状态	描述
待启动	创建订阅任务时，在完成配置对象或预检查后，选择保存后，任务进入的状态。
执行中	订阅任务正在进行的任务。
订阅失败	在订阅过程中出现问题或故障时，导致任务中断或异常后，任务进入的状态。
订阅完成	订阅任务执行以下操作后，任务进入的状态：订阅任务完成后，进入的状态。终止处在执行中的任务，任务状态将先进入终止中，随后进入订阅完成。

订阅方案概览

源数据库类型	版本	源数据库接入方式	消费端	接入方式	版本	支持订阅的数据类型	配置文档
MySQL	MySQL 5.7 MySQL 8.0	火山引擎版 MySQL	内置中间件		2.2	数据更新结构更新	创建火山引擎版 MySQL 数据订阅任务
			客户自有中间件	消息队列 Kafka 版	2.2.2、2.8.2
				专有网络 Kafka	0.10.x、0.11.x、1.x、2.x、3.x
				消息队列 RocketMQ 版	4.x
	MySQL 8.0	火山引擎版 veDB MySQL	内置中间件		2.2	数据更新结构更新	创建火山引擎版 veDB MySQL 数据订阅任务
			客户自有中间件	消息队列 Kafka 版	2.2.2、2.8.2
				专有网络 Kafka	0.10.x、0.11.x、1.x、2.x、3.x
				消息队列 RocketMQ 版	4.x
	MySQL 5.5 MySQL 5.6 MySQL 5.7 MySQL 8.0	公网自建 MySQL	内置中间件		2.2	数据更新结构更新	创建公网自建 MySQL 数据订阅任务
			客户自有中间件	消息队列 Kafka 版	2.2.2、2.8.2
				专有网络 Kafka	0.10.x、0.11.x、1.x、2.x、3.x
				消息队列 RocketMQ 版	4.x
PostgreSQL	PostgreSQL 11 PostgreSQL 12 PostgreSQL 13 PostgreSQL 14 PostgreSQL 15	火山引擎版 PostgreSQL	内置中间件		2.2	数据更新结构更新	创建火山引擎版 PostgreSQL 数据订阅任务
			客户自有中间件	消息队列 Kafka 版	2.2.2、2.8.2
				专有网络 Kafka	0.10.x、0.11.x、1.x、2.x、3.x
				消息队列 RocketMQ 版	4.x
		公网自建 PostgreSQL	内置中间件		2.2	数据更新结构更新	创建公网自建 PostgreSQL 数据订阅任务
			客户自有中间件	消息队列 Kafka 版	2.2.2、2.8.2
				专有网络 Kafka	0.10.x、0.11.x、1.x、2.x、3.x
				消息队列 RocketMQ 版	4.x
		专有网络 PostgreSQL	内置中间件		2.2	数据更新结构更新	创建专有网络 PostgreSQL 订阅任务
			客户自有中间件	消息队列 Kafka 版	2.2.2、2.8.2
				专有网络 Kafka	0.10.x、0.11.x、1.x、2.x、3.x
				消息队列 RocketMQ 版	4.x

其中：

数据更新：指数据库操作语言即 DML，对表格内的数据进行增加、删除、修改的操作，例如 INSERT、DELETE 或 UPDATE 等。
结构更新：指数据定义语言即 DDL，对表格进行新建、删除、修改等操作，例如 CREATE、DROP 或 ALTER 等。