在 Flink 控制台,bytehouse-ce 连接器支持做结果表,可以通过 Flink 任务将数据写入到 ByteHouse 目标表。
ByteHouse 是一款云原生数据仓库,是火山引擎基于开源 ClickHouse 进行深度优化和改造的版本,提供海量数据上更强的查询服务和数据写入性能。
ByteHouse 企业版(CE)基于火山内部的丰富场景,以及 ClickHouse 开源版的痛点进行了深度定制,包括多场景表引擎、扩展数据类型、多级存储等功能。如需了解 ByteHouse 企业版更多信息,请参见ByteHouse 企业版简介。
ByteHouse CE 连接器暂时仅支持在 Flink 1.16-volcano 引擎版本中使用。
使用文档参考 Flink Connector for ByteHouse CE
注意:ByteHouse Connector 已经内置到 Flink SQL 中,无需额外下载和安装,可以直接参考上面文档使用说明部分。
问题描述:
{"t": "2024-10-17 10:00:00"}t字段为 TIMESTAMP 类型。2024-10-17 18:00:00问题原因:源端(例如 Kafka 数据源)时间戳数据以不带时区的格式输出时(如 “2024-10-17 10:00:00” ),默认按 UTC 解析为 Epoch 时间戳;如果源端业务的时区并非 UTC,那么按上述方式输出时间戳值则会间接地引入 UTC 与源端业务时区之间的小时数偏差。
解决方案:
'timestamp-offset' = '-8h',这样子在单个 ByteHouse Sink 中生效。containerized.taskmanager.env.FLINK_WRITE_TO_BYTEHOUSE_TIMESTAMP_OFFSET: -8h