本文介绍流式计算 Flink 版支持的连接器和 Format。
下表列举了流式计算 Flink 版目前提供的连接器,以及各连接器支持的表类型。
连接器 | 描述 | 源表 | 结果表 | 维表 | 引擎版本 |
---|---|---|---|---|---|
kafka | 提供从 Kafka Topic 或 BMQ Topic 中消费和写入数据的能力。 | ✅ | ✅ | ❌ | Flink 1.11、Flink 1.16 |
upsert-kafka | 提供以 upsert 方式从 Kafka Topic 中读取数据并将数据写入 Kafka Topic 的能力。 | ✅ | ✅ | ❌ | Flink 1.16 |
jdbc | 提供对 MySQL、PostgreSQL 等常见的关系型数据库的读写能力,以及支持维表。 | ✅ | ✅ | ✅ | Flink 1.11、Flink 1.16 |
mysql-cdc | 提供从 MySQL 中读取快照数据和增量数据的能力。 | ✅ | ❌ | ❌ | Flink 1.16 |
mongodb-cdc | 提供从 MongoDB 中读取快照数据和增量数据的能力。 | ✅ | ❌ | ❌ | Flink 1.16 |
postgres-cdc | 用于从 PostgreSQL 数据库读取全量快照数据和增量数据。 | ✅ | ❌ | ❌ | Flink 1.16 |
sqlserver-cdc | 用于从 SQLServer 数据库读取全量数据和增量数据。 | ✅ | ❌ | ❌ | Flink 1.16 |
redis | 提供对缓存数据库 Redis 的写入能力,支持做结果表、维表。 | ❌ | ✅ | ✅ | Flink 1.11、Flink 1.16 |
hbase-1.4 | 提供从 Hbase 表中读写数据的能力,支持做源表、结果表,以及维表。 | ✅ | ✅ | ✅ | Flink 1.11、Flink 1.16 |
hbase-2.2 | ✅ | ✅ | ✅ | Flink 1.16 | |
elasticsearch-6 | 提供对不同版本 Elasticsearch 搜索引擎的写入能力。 | ❌ | ✅ | ❌ | Flink 1.11、Flink 1.16 |
elasticsearch-7 | ❌ | ✅ | ❌ | Flink 1.11、Flink 1.16 | |
starrocks | 提供从 StarRocks 数据库中读写数据,支持做源表、结果表、维表。 | ✅ | ✅ | ✅ | Flink 1.16 |
Pulsar | 提供从分布式消息系统 Pulsar Topic 中消费和写入数据的能力 | ✅ | ✅ | ❌ | Flink 1.11 |
iceberg | 提供从 Iceberg 表中读写数据,以及 Iceberg+upsert 增强能力。 | ✅ | ✅ | ❌ | Flink 1.11、Flink 1.16 |
filesystem | 提供对常见的文件系统的读写能力。 | ✅ | ✅ | ❌ | Flink 1.11、Flink 1.16 |
doris | 提供 Doris 数据库的读写数据的能力,支持做源表、结果表,以及维表。 | ✅ | ✅ | ✅ | Flink 1.11、Flink 1.16 |
datagen | 调试专用连接器(源表),支持周期性的生成随机数据,数据类型可自定义。 | ✅ | ❌ | ❌ | Flink 1.11、Flink 1.16 |
调试专用连接器(结果表),结果会打印。 | ❌ | ✅ | ❌ | Flink 1.11、Flink 1.16 | |
blackhole | 调试专用连接器(结果表),结果不会打印。 | ❌ | ✅ | ❌ | Flink 1.11、Flink 1.16 |
faker | 模拟数据生成器,将根据表中每个字段提供的 Java Faker 表达式生成测试数据。 | ✅ | ✅ | ❌ | Flink 1.11 |
Format | Flink 1.11 | Flink 1.16 |
---|---|---|
avro | ✅ | ✅ |
avro-confluent | ❌ | ✅ |
byte-pb | ✅ | ❌ |
canal-json | ✅ | ✅ |
csv | ✅ | ✅ |
debezium-json | ✅ | ✅ |
json | ✅ | ✅ |
maxwell-json | ❌ | ✅ |
ogg-json | ❌ | ✅ |
orc | ✅ | ✅ |
parquet | ✅ | ✅ |
protobuf | ❌ | ✅ |