导入类型
ByteHouse 企业版支持两种导入类型:
- 批式导入(Batch Load):又叫离线导入,适用于希望将已准备好的数据一次性加载到 ByteHouse 的场景;
- 流式导入(Streaming Load):ByteHouse 能够连接到 Kafka,并将数据持续传输到目标数据表中。与离线导入不同,Kafka 任务一旦启动将持续运行。ByteHouse 的 Kafka 导入任务能够提供 at-least-once 语义。您可以停止/恢复消费任务,ByteHouse 将记录 offset 信息,确保数据不会丢失。
数据源
存储了导入数据来源的连接信息。
目前 ByteHouse 支持的数据源类型有 Kafka 与 S3。
导入任务
即从指定数据源到对应 ByteHouse 表的导入数据的任务。该任务可用于多次导入数据(针对批式导入)或启停(针对流式导入)。
同时,一张表也可以有多个不同的导入任务对其导入数据。
执行记录 Execution Task
记录一个导入任务的一次启停。