You need to enable JavaScript to run this app.
导航
连接器列表
最近更新时间:2023.10.30 16:18:55首次发布时间:2022.09.08 17:27:42

本文介绍流式计算 Flink 版支持的连接器和 Format。

支持的连接器

下表列举了流式计算 Flink 版目前提供的连接器,以及各连接器支持的表类型。

连接器

描述

源表

结果表

维表

引擎版本

kafka

提供从 Kafka Topic 或 BMQ Topic 中消费和写入数据的能力。

Flink 1.11、Flink 1.16

upsert-kafka

提供以 upsert 方式从 Kafka Topic 中读取数据并将数据写入 Kafka Topic 的能力。

Flink 1.16

jdbc

提供对 MySQL、PostgreSQL 等常见的关系型数据库的读写能力,以及支持维表。

Flink 1.11、Flink 1.16

mysql-cdc

提供从 MySQL 中读取快照数据和增量数据的能力。

Flink 1.16

mongodb-cdc

提供从 MongoDB 中读取快照数据和增量数据的能力。

Flink 1.16

postgres-cdc

用于从 PostgreSQL 数据库读取全量快照数据和增量数据。

Flink 1.16

sqlserver-cdc

用于从 SQLServer 数据库读取全量数据和增量数据。

Flink 1.16

redis

提供对缓存数据库 Redis 的写入能力,支持做结果表、维表。

Flink 1.11、Flink 1.16

hbase-1.4

提供从 Hbase 表中读写数据的能力,支持做源表、结果表,以及维表。

Flink 1.11、Flink 1.16

hbase-2.2

Flink 1.16

elasticsearch-6

提供对不同版本 Elasticsearch 搜索引擎的写入能力。

Flink 1.11、Flink 1.16

elasticsearch-7

Flink 1.11、Flink 1.16

starrocks

提供从 StarRocks 数据库中读写数据,支持做源表、结果表、维表。

Flink 1.16

Pulsar

提供从分布式消息系统 Pulsar Topic 中消费和写入数据的能力

Flink 1.11

iceberg

提供从 Iceberg 表中读写数据,以及 Iceberg+upsert 增强能力。

Flink 1.11、Flink 1.16

filesystem

提供对常见的文件系统的读写能力。

Flink 1.11、Flink 1.16

doris

提供 Doris 数据库的读写数据的能力,支持做源表、结果表,以及维表。

Flink 1.11、Flink 1.16

datagen

调试专用连接器(源表),支持周期性的生成随机数据,数据类型可自定义。

Flink 1.11、Flink 1.16

print

调试专用连接器(结果表),结果会打印。

Flink 1.11、Flink 1.16

blackhole

调试专用连接器(结果表),结果不会打印。

Flink 1.11、Flink 1.16

faker

模拟数据生成器,将根据表中每个字段提供的 Java Faker 表达式生成测试数据。

Flink 1.11

支持的 Format

Format

Flink 1.11

Flink 1.16

avro

avro-confluent

byte-pb

canal-json

csv

debezium-json

json

maxwell-json

ogg-json

orc

parquet

protobuf