You need to enable JavaScript to run this app.
导航
离线迁移元数据
最近更新时间:2024.11.13 15:39:33首次发布时间:2024.11.13 14:33:52

当您的本地执行环境不可访问公网时,您可使用迁移工具导出源 kafka 实例中的元数据,再在控制台上,将元数据文件导入迁移任务,实现元数据的离线迁移。本文档介绍离线迁移元数据的操作步骤。

前提条件
  • 您的本地执行环境需满足以下条件:
    • 可访问源 Kafka 实例接入点。
    • 已安装 Python 3.0 版本,您可以在 Python 官网下载并安装
  • 已在控制台上创建迁移任务,具体操作步骤,参见创建迁移任务

操作步骤

说明

若您的本地执行环境上已存在迁移工具,可跳过步骤 1 和步骤 2。

  1. 在可以访问公网的环境上,运行以下命令,获取迁移工具脚本 volc-kafka-migrate.py

    wget http://kafka-migrate-tool.tos-cn-beijing.volces.com/volc-kafka-migrate.py
    
  2. 将获取的迁移脚本拷贝到您的本地执行环境上。

  3. 在本地执行环境迁移工具所在目录下,运行以下命令,导出元数据。

    当源 Kafka 实例未开启 SASL 认证时,运行以下命令:

    python3 volc-kafka-migrate.py --bootstrap-server ${您的kafka集群bootstrap servers地址} --mode offline
    

    使用源 Kafka 实例的 Bootstrap servers 地址替换以上命令中的 ${您的kafka集群bootstrap servers地址}

  4. 下载导出的元数据文件。
    在同目录下,您可看到名为 volc-kafka-export-data.json 的元数据文件。

  5. 在控制台上,将元数据文件导入相应迁移任务。
    具体操作步骤,请参见导入元数据

  6. 验证迁移结果。

    说明

    • 您可在消息队列 Kafka版控制台集群迁移页面上,查看相应任务的迁移进程,待 Topic 和 Group 迁移完成后,执行以下步骤,验证迁移结果。
    • 若 Topic 或 Group 迁移失败,您可单击与 Topic 迁移或 Group 迁移对应的修改配置按钮,查看导致迁移失败的具体原因并采用相应修改方案,具体操作,请参见修改迁移数据配置
    1. 登录消息队列 Kafka版控制台
    2. 在顶部菜单栏中,选择目标 kafka 实例所在地域,并在左侧菜单栏中,选择实例列表
    3. 在实例列表中,单击目标 kafka 实例名称。
    4. 查看 Topic 和 Group 信息。
      • 单击 Topic管理页签,进入 Topic管理页,查看当前实例中的 Topic 信息。
      • 单击 Group管理页签,进入 Group管理页,查看当前实例中的 Group 信息。