本文档介绍创建 TOS Sink Connector 任务的操作步骤,成功创建任务后,Kafka Topic 中的消息将根据指定的聚合规则同步到对象存储 TOS 的存储桶中。
消息队列 Kafka版提供的 Connector 服务支持 TOS Sink Connector,可以创建消息队列 Kafka版为数据源、对象存储 TOS 为目的地端的数据导出任务,将 Kakfa Topic 中的数据导出到对象存储 TOS 中进行持久化存储或离线计算。TOS Sink Connector 支持批量导出 Topic 中的消息,同时支持指定导出的起始位置。
说明
创建 Connector 任务后暂不支持修改任务配置,如需修改,建议删除并重新创建任务。
在顶部菜单栏中选择地域,并在左侧导航栏中单击Connector任务。
在实例下拉列表中选择需要指定实例。
单击创建Connector任务。
填写任务的基本信息,并单击下一步。
配置 | 说明 |
---|---|
任务名称 | Connector 任务的名称。需满足以下规则:
|
任务类型 | 任务的类型。此处请指定为数据流出。 |
目标类型 | 目标端的类型。此处请指定为消息队列 Kafka版 → 对象存储。 |
描述 | 任务的简单描述信息,200 个字符以内。 |
填写任务的数据源配置,并单击下一步。
配置 | 说明 |
---|---|
数据源 | 无需设置,默认为消息队列 Kafka版。 |
数据源实例 | 无需设置,请确认实例名称是否正确。 |
Topic | 需要导出消息的 Kafka Topic,可以指定为:
说明 成功创建 Connector 任务后,请勿删除指定 Topic,否则会造成 Connector 任务运行失败或数据异常。 |
起始位置 | 从指定的起始位置开始导出 Topic 中的消息,可指定为:
|
填写任务的数据目标配置。
配置 | 说明 |
---|---|
数据目标 | 默认为对象存储。 |
目标存储桶 | 数据流出的目标存储桶。 说明 成功创建 Connector 任务后,请勿删除该存储桶,否则会造成 Connector 任务运行异常。 |
目录 | 数据在目标存储桶中的所在目录。如果指定的目录不存在,Kafka 写入数据时会自动为您创建此目录。 |
聚合方式 | 数据聚合的方式,即任务的触发规则。支持的聚合方式包括以下两种,可同时设置。
|
数据格式 | 数据存储在存储桶中的文件格式,支持设置为 JSON 或 CSV 格式。 |
Base64编码 | 是否开启 Base64 编码。默认为开启状态。
|
单击确定。
成功创建 TOS Sink Connector 任务后,您可以在任务的详情页面查看 Connector 任务的详细信息,包括相关的配置、同步进度等,详细信息请参考查看同步进度。
创建 Connector 任务不支持修改配置信息,但可以暂停或启动任务、重试状态错误的任务、删除任务等等,详细信息请参考管理 Connector 任务。