You need to enable JavaScript to run this app.
导航
修改迁移数据配置
最近更新时间:2024.11.13 14:33:52首次发布时间:2024.11.13 14:33:52

当 Topic 或 Group 迁移失败时,您可在控制台上查看导致迁移失败的具体错误类型,并根据错误类型,采用相应修改方案,修改待迁移的 Topic 或 Group 配置。本文档介绍迁移数据配置的操作步骤。

背景信息

开始迁移前,消息队列 Kafka版将自动校验待迁移的元数据,检查迁移的元数据配置是否符合规范,若检查到不符合规范的配置,则自动取消迁移,并给出相应错误类型。您可根据错误类型修改配置,各错误类型对应的修改方案如下。

  • Topic

    校验项

    错误类型

    错误原因

    修改方案

    Topic 名称

    命名错误

    Topic 名称不符合规范

    修改 Topic 名称,命名规范如下:

    • 必须以英文或数字开头。
    • 支持的字符包括英文、数字、连字符(-)、下划线(_)和英文句号(.)。
    • 长度为 3 字符 ~ 64 字符。

    重命名

    Topic 名称重复

    修改 Topic 名称,命名规范如下:

    • 必须以英文或数字开头。
    • 支持的字符包括英文、数字、连字符(-)、下划线(_)和英文句号(.)。
    • 长度为 3 字符 ~ 64 字符。

    分区数

    分区数错误

    Topic 分区数不符合规范

    修改 Topic 分区数,取值范围为 1~300。

    说明

    每个 Topic 的分区都会在 Kafka 实例内部打散存放,为保证分区在目标 Kafka 实例内能够均匀的被打散,建议设置各 Topic 分区的数量为目标 Kafka 实例 Broker 数量的整数倍,您可参考查看节点信息,查看实例的 Broker 数量。

    副本数

    副本数错误

    Topic 副本数不符合规范

    修改 Topic 副本数,取值支持 1、2、3。

    说明

    • 增加副本数会占用实例磁盘容量,请确保容量充足。增加副本时会占用实例带宽资源,建议在业务低峰期操作。
    • 减少副本数会降低数据可用性,请谨慎操作。
    • 1 副本 Topic 无法保障数据可靠性且实例升级期间无法进行读写操作,建议选择 2 副本或 3 副本。

    最小同步副本数

    最小同步副本数错误

    Topic 最小同步副本数不符合规范

    修改 Topic 最小同步副本数,取值说明如下:

    • 副本数为 1 时,最小同步副本数只能为 1。
    • 副本数为 2 或 3 时,最小同步副本数不能超过副本数减 1。

    消息保留时长

    消息保留时长错误

    Topic 消息保留时长不符合规范

    修改 Topic 的消息保留时长,取值范围为 0~2160,单位为小时。

    最大消息大小

    最大消息大小错误

    Topic 最大消息大小不符合规范

    修改 Topic 的最大消息大小,取值范围为 1MB~12MB。

    消息清理策略

    消息清理策略错误

    Topic 的消息清理策略取值不符合规范

    修改消息清理策略取值,取值说明如下:

    • DELETE:在磁盘容量充足的情况下,保留在最长保留时间范围内的消息;在磁盘容量不足时,将提前删除旧消息,以保证服务可用性。
    • COMPACT:针对每个消息的 Key 进行整合,对于有相同 Key 的消息,只保留最新的 value 值,旧的记录则会被清除。

      说明

      如果消息没有 Key,请勿使用 COMPACT 消息清理策略。

    • DELETE,COMPACT:同时配置 DELETE 和 COMPACT 两种消息清理策略。只要消息满足任一条清理策略时,都将被清除。

    Topic 分区总数

    所有 Topic 分区数总和过大,请减少分区

    待迁移的 Topic 分区总数超过目标 Kafka 实例的可用分区数

    • 为目标 Kafka 实例购买分区,具体操作步骤,请参见修改 Topic 配置
    • 若目标 Kafka 实例分区数量已达当前规格的最大额度,则升级目标 Kafka 实例的计算规格,具体操作步骤,请参见升级实例规格

    说明

  • Group

    校验项

    错误类型

    错误原因

    修改方案

    Group 名称

    命名错误

    Group ID不符合规范

    修改 Group ID,填写规范如下:

    • 支持英文、数字、@、连字符(-)、下划线(_)。
    • 长度范围为 3 字符 ~ 128 字符。

    重命名

    Groud ID 重复

    修改 Group ID,填写规范如下:

    • 支持英文、数字、@、连字符(-)、下划线(_)。
    • 长度范围为 3 字符 ~ 128 字符。

操作步骤
  1. 登录消息队列 Kafka版控制台
  2. 在顶部菜单栏中,选择目标 Kafka 实例所在地域,并在左侧菜单栏中选择集群迁移
  3. 集群迁移页面上的任务列表中,单击目标任务进程迁移列中 Topic 迁移Group 迁移对应的修改配置
  4. 单击 Topic 配置Group 配置页签,查看未通过校验的配置及其错误类型,根据错误类型,采用相应修改方案修改 Topic 或 Group 配置。

    说明

    各错误类型对应的修改方案,参见背景信息

    修改配置操作步骤如下:
    1. 在列表中,单击目标 Topic 或 Group 操作列中的编辑图标。
    2. 修改错误配置,例如名称、分区数、副本数、最小同步副本数等。
    3. 单击操作列中的确定图标。
      系统将自动校验修改后的配置,若校验通过,则取消显示相应错误类型。
    4. 在修改所有错误配置后,单击确认,重新导入数据。