数据快车服务(DES,Data Express Service)是一个用于将多源异构数据源和数据结构导入到 ByteHouse 的服务,通过提供数据集成、结构映射、高效导入、安全可靠等功能,帮助用户快速、准确地将各种类型的数据(如关系型数据库、日志文件、对象存储等)导入到ByteHouse中进行后续的处理和分析。
产品架构
数据快车基本产品功能架构如下图:
功能简介
数据快车服务通常具有以下特点和功能:
- 多源数据集成:数据快车服务支持从多个不同的数据源中导入数据,包括关系型数据库(如MySQL、PostgreSQL、ClickHouse)、NoSQL数据库(如MongoDB)、实时流(Kafka)、对象存储(AWS S3、TOS、OSS)等。
- 数据结构映射和转换:数据快车服务能够处理不同数据源之间的数据结构差异,并提供自动的映射和转换功能。它将数据源的字段映射到ByteHouse中对应的表和列,执行数据类型转换、数据格式化等操作,以确保数据在导入过程中的一致性和准确性。
- 高效数据导入:数据快车服务通过优化数据导入的方式和过程,实现高效的数据传输和加载。它采用批量导入、并行导入、增量导入等策略,以最大限度地提高导入速度和吞吐量。
- 安全和可靠性:数据快车服务提供安全的数据传输和存储机制,确保数据的机密性和完整性。它还具备故障恢复和容错机制,能够处理导入过程中的错误和异常,并提供日志和监控功能,以便进行故障排查和性能优化。
- 可配置和可扩展:数据快车服务通常提供灵活的配置选项和可扩展性。用户可以根据具体需求配置导入规则、转换规则、导入频率等参数,以满足不同的数据导入场景和要求。
使用流程
数据快车使用流程如上图,您可以按下面的流程操作。
- 登录 ByteHouse 云数仓版控制台,单击导航栏“数据快车”按钮,进入功能主页。
说明
首次使用时,需要对火山云资源进行授权。
您可参照提示确认授权,然后可正常使用数据快车功能。
- 进入数据快车服务后,您可以根据引导进入相应操作:
- 购买 DES 实例,参见 实例购买与管理;
- 创建数据源,参见 数据源管理;
- 创建任务,包括 CDC同步任务和 流式加载 任务等。