成功创建数据订阅任务之后,需要根据消费端的类型在 DTS 控制台或通过开源 Kafka SDK 创建消费组。本文介绍如何通过数据库传输服务 DTS 控制台为内置中间件新建消费组。
消费组是一组具有相同消费组 ID 的消费者。当一个 Topic 被同一个消费组的多个消费者消费时,每一条消息都只会被投递到一个消费者,实现消费的负载均衡。通过消费组,您可以确保一个 Topic 的消息被并行消费。
创建数据订阅任务之后,数据库的数据更新和结构更新均以消息数据的形式投递到指定的消费端,您还需要创建对应的消费组以消费数据。不同类型的消费端创建消费组的方式如下:
内置中间件:通过数据库传输服务 DTS 新建消费组,详情请参见本文操作步骤部分。
自有中间件:
专有网络 Kafka:使用开源 Kafka SDK 创建消费组(Group),详细信息,请参见 Kafka 官方文档。
消息队列 Kafka 版:使用消息队列 Kafka 版的 SDK 创建消费组(Group),创建后可以在消息队列 Kafka 版控制台中查看 Group 列表。详细信息请参见消息队列 Kafka 版 SDK 参考。
消息队列 RocketMQ 版:使用消息队列 RocketMQ 版创建消费组(Group),创建后可以在消息队列 RocketMQ 版控制台中查看 Group 列表。详细信息,请参考创建 Group。
云原生消息引擎:使用云原生消息引擎创建消费组(Group),创建后可以在云原生消息引擎控制台中查看 Group 列表。详细信息,请参考创建 Group。
仅在订阅数据投递为订阅内置中间件时,才需要在 DTS 控制台新建消费组。其他类型请参考背景信息选择对应方式创建消费组。
一个数据订阅任务最多支持创建 20 个消费组,通过创建多个消费组达到数据被重复消费的目标。
按需创建数据订阅任务,具体操作,请参见订阅方案概览 。
数据订阅任务需处于执行中。
登录 DTS 控制台。
在顶部菜单栏的左上角,选择项目和地域。
在左侧导航栏,单击数据订阅。
您可以通过以下两种方式进入新建消费组对话框。
在数据订阅列表页面,选择目标数据订阅任务,单击新增消费组。
在数据订阅列表页面,单击目标数据订阅任务的名称。
在目标数据订阅任务的详细页面,单击数据消费。
在数据消费页签,单击新建消费组。
在新建数据组对话框内,配置以下参数信息。
参数 | 描述 |
---|---|
消费组名称 | 自定义消费组名称。建议设置和您的业务有相关联的名称,便于后续查询。名称命名规则如下:
|
账号 | 设置消费组账号。账号命名规则如下:
|
密码 | 设置消费组账号密码。密码规则如下:
|
确认密码 | 再次输入消费组账号密码。 |
单击确定。
API | 描述 |
---|---|
CreateSubscriptionGroup | 调用 CreateSubscriptionGroup 接口创建订阅消费组。 |
DescribeSubscriptionGroup | 调用 DescribeSubscriptionGroup 接口查询订阅消息组。 |
DescribeSubscriptionGroups | 调用 DescribeSubscriptionGroups 接口查询消费组列表。 |
DescribeSubscriptionGroupProgress | 调用 DescribeSubscriptionGroupProgress 接口查询订阅消费组进度。 |