You need to enable JavaScript to run this app.
导航
在线迁移元数据
最近更新时间:2024.11.13 15:39:27首次发布时间:2024.11.13 14:33:52

当您的本地执行环境可以访问公网时,您可在您的本地执行环境上,执行迁移命令,通过迁移工具在线迁移元数据。本文档介绍在线迁移元数据的操作步骤。

前提条件
  • 您的本地执行环境需满足以下要求:
    • 可访问公网。
    • 已安装 Python 3,您可以在 Python 官网下载并安装
  • 已在控制台上创建迁移任务,具体操作步骤,参见创建迁移任务
  • 已获取迁移任务对应的迁移命令,具体操作步骤,参见查看迁移命令

注意事项
  • 确保目标 Kafka 实例分区数量充足,系统将自动进行迁移前校验,若检查到目标 Kafka 实例分区数量不足,则自动取消迁移。查看实例剩余可用分区数量的具体操作步骤,参见查看实例详情。若分区数量不足,请购买分区,若分区数量已达实例当前规格最大额度,请升级实例规格。各计算规格对应分区额度,参见产品规格
  • 在数据迁移过程中,建议您不要在目标 Kafka 实例中创建新的 Topic 或 Group,以免造成由重命名、分区数量不足等原因导致的迁移失败。

操作步骤

说明

若您的本地执行环境上已存在迁移工具,您可跳过步骤 1。

  1. 在您的本地执行环境上,运行以下命令,下载迁移工具脚本 volc-kafka-migrate.py

    wget http://kafka-migrate-tool.tos-cn-beijing.volces.com/volc-kafka-migrate.py
    
  2. 在迁移工具所在目录下,运行以下命令,在线迁移元数据。

    当源 Kafka 实例未开启 SASL 认证时,运行从控制台上获取的命令:

    python3 volc-kafka-migrate.py --bootstrap-server ${您的kafka集群bootstrap servers地址} --access-key ${您的账号AK} --secret-key ${您的账号SK} --region ${目标Kafka实例所在地域} --task-id ${您的迁移任务ID} 
    

    参数说明,请参见查看迁移命令

  3. 验证迁移结果。

    说明

    • 您可在消息队列 Kafka版控制台集群迁移页面上,查看相应任务的迁移进程,待 Topic 和 Group 迁移完成后,执行以下步骤,验证迁移结果。
    • 若 Topic 或 Group 迁移失败,您可单击与 Topic 迁移或 Group 迁移对应的修改配置按钮,查看导致迁移失败的具体原因并采用相应修改方案,具体操作,请参见修改迁移数据配置
    1. 登录消息队列 Kafka版控制台
    2. 在顶部菜单栏中,选择目标 kafka 实例所在地域,并在左侧菜单栏中,选择实例列表
    3. 在实例列表中,单击目标 kafka 实例名称。
    4. 查看 Topic 和 Group 信息,
      • 单击 Topic管理页签,进入 Topic管理页,查看当前实例中的 Topic 信息。
      • 单击 Group管理页签,进入 Group管理页,查看当前实例中的 Group 信息。