You need to enable JavaScript to run this app.
导航
数据库传输服务
  • 文档首页
    • /数据库传输服务/数据迁移/创建 MongoDB 数据迁移任务/源为专有网络 MongoDB/迁移至公网自建 MongoDB
迁移至公网自建 MongoDB
最近更新时间：2024.10.31 17:52:41首次发布时间：2023.04.11 20:12:18
我的收藏

本场景介绍如何在数据库传输服务 DTS 创建专有网络 MongoDB 迁移至公网自建 MongoDB 任务。

前提条件

  • 按需设置源端信息，具体如下所示：

    • 在使用 VPN 实现数据迁移时，自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作，请参见搭建云上VPC与云下多数据中心网络互通。

    • 在需要使用专线实现数据迁移时，您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作，请参见配置专线连接。

      • 当数据库实例的接入方式选择的是专有网络时，且数据库实例开启了访问限制，那么在创建数据库传输任务前，您需要将子网网段添加至数据库实例的白名单或安全组中。华南1（广州）子网网段是 172.31.0.0/20，华北2（上海）和华北2（北京）子网网段是 192.168.3.0/24，亚太东南（柔佛）子网网段是 192.168.0.0/24，中国香港的子网网段是 192.168.0.0/24。更多信息，请参见添加 DTS 服务器的 IP 地址段。

  • 当数据库实例的接入方式选择的是公网自建时，且数据库实例开启了访问限制，那么在创建数据库传输任务前，您需要将 DTS 服务器 IP 地址添加至数据库实例的白名单或安全组中。不同地域下的 DTS 服务器 IP 地址不同，具体如下所示：

    • 华南 1（广州）、华北 2（上海）和华北 2（北京）的 DTS 服务器 IP 地址是 221.194.189.0/27,157.148.90.32/27,180.184.132.64/27,61.129.54.64/27,220.196.172.32/27,117.135.143.32/27,220.196.168.32/27,116.132.250.32/27,111.45.13.32/27,125.88.248.32/27,180.153.35.32/27,220.181.65.32/27,220.181.65.64/27。

    • 亚太东南（柔佛）的 DTS 服务器 IP 地址是 101.47.0.32/27,220.181.65.32/27,220.181.65.64/27。

    • 中国香港的 DTS 服务器 IP 地址是 101.47.65.32/28,101.47.65.48/28。
        关于 DTS 服务器 IP 地址段的详细信息，请参见添加 DTS 服务器的 IP 地址段。

  • 已确认源端和目标端的网络连通性与服务可用性。

  • （可选）根据预检查项中的说明，检查源端和目标端中各迁移对象。更多详情，请参见预检查项（MongoDB）。

注意事项

  • 若未选中增量迁移，数据迁移期间请勿在源实例中写入新的数据，以确保数据一致性。

  • 为实时保障数据的一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。

  • 由于全量数据迁移会并发执行 INSERT 操作，导致目标端的集合产生碎片，因此全量迁移完成后目标端的集合存储空间会比源端的集合存储空间大。

  • 在创建专有网络数据迁移任务的过程中，系统会默认在您选择的私有网络内创建数张网卡，网卡会默认挂载到您选择的子网上。网卡的名称格式为 dts_shuttle_********。

  • 在数据迁移的过程中，若遇到目标库中已存在同主键值或唯一键的情况，DTS 不会保留目标端中冲突的数据，即源端的数据将会覆盖掉目标端的数据。当数据进行冲突覆盖时，如果目标库中存在同名表，可能会导致数据不一致等问题，具体如下所示。建议您通过表名映射的方式、删除或重命名目标库中同名表的方式避免数据不一致等问题降低业务风险。

    • 表结构一致时：迁移的数据将覆盖目标表中与源库主键或唯一键的值相同的记录。

    • 表结构不一致时：可能会导致无法初始化数据，只能迁移部分列数据。

使用限制

应用限制

类型说明

源端限制

  • 带宽要求：源端所属的服务器需具备足够出口带宽，否则将影响数据迁移的速率。

  • 待迁移对象的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标端出现重复数据。

  • 当迁移的对象是集合级别，且需进行编辑例如集合的名称映射时，则单次迁移任务最多支持迁移 1000 张集合。当超出该限制时，任务提交后会显示请求报错，此时建议您拆分待迁移的集合，分批配置任务。

  • 当您需要进行增量迁移时，您需要完成以下配置：

    • 开启 Oplog 日志，否则预检查阶段将提示报错，且无法启动迁移任务。

    • 在全量迁移期间，Oplog 日志建议至少保留 7 天及以上，如需调整 Oplog 大小，请参见 Change the Size of the Oplog。您也可以在全量迁移完成后，再清理数据库传输服务 DTS 源端在任务运行后产生的 Oplog 日志。

其他限制

  • 建议源端和目标端的 MongoDB 的版本保持一致，或者从低版本迁移至高版本以保障兼容性。当高版本迁移至低版本时，可能存在数据库兼容性问题。

  • 不支持迁移 admin 和 local 库中的数据。

  • 不保留事务信息，即源端中的事务迁移到目标端时会转变为单条记录。

  • 执行数据迁移前，您需要评估源端和目标端的性能，建议在业务低峰期执行数据迁移。否则数据库传输服务 DTS 在全量迁移时会占用源端和目标端一定的读写资源，可能导致数据库的负载上升。

  • 目标 MongoDB 数据库的存储空间需大于源 MongoDB 数据库占用的存储空间。

  • 数据库传输服务 DTS 会通过 ROUND(COLUMN,PRECISION) 读取 FLOAT 列和 DOUBLE 列的迁移精度，FLOAT 的默认迁移精度为 38 位，DOUBLE 的默认迁移精度为 308 位。当不符合业务预期时，请提交工单。

操作限制

源端需满足以下操作限制：

  • 在结构迁移和全量迁移阶段，请勿执行库或集合的结构变更，否则数据迁移任务会失败。

  • 当只执行全量数据迁移时，请勿向源库中写入新的数据，否则将导致源和目标数据不一致。

数据库账号最小权限策略

用于数据迁移的账号需具备以下权限：

  • 源库待迁移对象 FIND、buildInfo、serverStatus、listDatabases 权限。
  • 源库 Change Stream 权限。

    说明

    在需要进行增量迁移分片集数据时，源库账号需要 Change Stream 权限。

  • 目标库 FIND、INSERT、UPDATE、REMOVE、DROPDATABASE、DROPCOLLECTION 权限。

操作步骤

  1. 登录 DTS 控制台。

  2. 在顶部菜单栏，选择项目和地域。

  3. 在左侧导航栏，单击数据迁移。

  4. 在迁移任务列表页面，单击创建任务。

  1. 在创建迁移任务页面的配置源库及目标库配置向导页面，配置以下参数信息。

    类别参数说明

    无

    任务名称

    （可选）自定义迁移任务名称。命名规则如下：

    • 以字母开头。

    • 长度需在 64 个字符内。

    • 只能包含字母、数字、下划线（_）和中划线（-）。

    说明

    如果不设置，系统会按照命名规则为任务创建一个随机名称，该随机名称以 dts- 为前缀。

    链路规格

    按需选择迁移任务的链路规格，当前支持 Compact 和 Standard。

    说明

    成功创建任务后，不支持修改任务的链路规格。关于链路规格的详细信息，请参见产品规格。

    源库配置

    选择已有数据源

    您可以按需选择是否使用已录入的实例：

    • 使用已录入实例：单击选择已有数据源，在选择数据源控制面板，从地域下拉列表中选择目标地域，然后选择目标数据源。支持通过数据源名称和 ID 选择数据源。关于数据源的创建方法，请参见数据源管理。

    • 不使用已录入实例：如果不使用已录入的实例，那么您需要配置以下数据库实例信息。

    实例类型选择 MongoDB。
    接入方式选择专有网络 MongoDB。
    地域选择私有网络所属地域。
    架构按需选择目标 MongoDB 实例的架构类型，当前支持选择副本集、分片集群和单节点。

    增量数据获取方式

    在架构选择分片集群时支持设置增量数据获取方式。按需选择增量数据的获取方式，支持以下选择：

    • ChangeStream：该获取方式提供从数据集（数据库、集合或管道）中获取特定类型已修改数据的改变事件的方法。例如插入、更新或删除事件。如果选择该获取方式，那么实例的版本需大于等于 3.6。

    • Oplog：该获取方式表示直接获取 MongoD 操作日志。对于 MongoDB 分片集，选择该获取方式后需要填写所有分片地址。该方式相较于 ChangeStream 能提供更好的同步性能。

    • None：选择 None 后无法选择增量迁移，只能选择全量迁移。

    在增量数据获取方式设置为 ChangeStream 或 None 时，需配置参数地址、账号校验数据库、私有网络、子网、数据库账号和数据库密码。
    地址输入目标自建实例的主机地址和端口，格式为 IP:Port。在存在多个地址时，需使用英文逗号（,）隔开，最多支持配置 5 个地址。
    账号校验数据库输入账号所属数据库的库名。

    私有网络

    从下拉列表中选择目标私有网络，具体如下所示：

    • 专线连接：通过专线 CEN 实现数据连通时，选择 CEN 下所属的任意私有网络。

    • VPN 连接：通过 VPN 实现数据连通时，选择 VPN 网关绑定的私有网络。

    子网

    从下拉列表中选择和私有网络连通的子网。

    说明

    在迁移专有网络 MongoDB 实例时，您需要提前在源端的白名单或安全组策略中，添加子网 IP 段的访问权限。单击查看子网 IP 段查看和复制 IP 段。

    数据库账号输入目标实例的数据库账号。
    数据库密码输入目标实例数据库账号对应的密码。
    在增量数据获取方式设置为 Oplog 时，需配置私有网络、子网、Mongos 信息和分片信息参数。

    私有网络

    从下拉列表中选择目标私有网络，具体如下所示：

    • 专线连接：通过专线 CEN 实现数据连通时，选择 CEN 下所属的任意私有网络。

    • VPN 连接：通过 VPN 实现数据连通时，选择 VPN 网关绑定的私有网络。

    子网

    从下拉列表中选择私有网络中的子网。

    说明

    在迁移专有网络 MongoDB 实例时，您需要提前在源端的白名单或安全组策略中，添加子网 IP 段的访问权限。单击查看子网 IP 段查看和复制 IP 段。

    Mongos 信息

    1. 单击编辑 mongos 信息。

    2. 在编辑 mongos 信息控制面板。

    3. 配置以下参数信息：

      • 地址：需输入 mongos 的地址，例如 IP:端口或域名:端口。在存在多个地址时，需使用英文逗号（,）隔开，最多支持配置 5 个地址。

      • 账号校验数据库：输入账号所属数据库的库名。

      • 数据库账号：输入目标实例的数据库账号。

      • 数据库密码：输入目标实例数据库账号对应的密码。

    4. 单击确定。

    分片信息

    1. 单击编辑分片信息。

    2. 在编辑分片信息控制面板，配置分片的地址、账号校验数据库、账号、密码。

      • 地址：需输入分片的地址，例如 IP:端口或域名:端口。在存在多个地址时，需使用英文逗号（,）隔开，最多支持配置 5 个地址。

      • 账号校验数据库：输入账号所属数据库的库名。

      • 账号：输入目标分片账号信息。

      • 密码：输入目标分片账号对应的密码。

    3. （可选）单击添加一行，最多可添加 32 个分片信息，设置更多分片信息。

    4. 单击确定。

    测试链接

    单击测试链接，验证是否成功连接实例。 当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：

    • 连接认证失败，请检查网络是否正常：当出现该报错提示时，请确认网络的连通性。

    • 连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。

    • 连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术人员。

    • 无效的 IP 地址：当出现该报错提示时，请确认 IP 地址的正确性。

    • 专有网络需要子网有 * 个可用 IP，当前私有网络内子网可用 IP 数不足，无法创建任务，请检查私有网络内子网资源：当出现该报错提示时，您需要调整私有网络子网内可用的 IP 数量，以保证目标私有网络内子网内有足够的 IP。

    目标库配置

    选择已有数据源

    您可以按需选择是否使用已录入的实例：

    • 使用已录入实例：单击选择已有数据源，在选择数据源控制面板，从地域下拉列表中选择目标地域，然后选择目标数据源。支持通过数据源名称和 ID 选择数据源。关于数据源的创建方法，请参见数据源管理。

    • 不使用已录入实例：如果不使用已录入的实例，那么您需要配置以下数据库实例信息。

    实例类型

    选择 MongoDB。

    接入方式

    选择公网自建 MongoDB。

    说明

    在迁移公网自建 MongoDB 实例时，您需要提前在源端的白名单或安全组策略中，添加 DTS IP 段的访问权限。单击查看 DTS IP 段查看和复制 IP 段。

    架构按需选择目标 MongoDB 实例的架构类型，当前支持选择副本集、分片集群和单节点。
    地域选择目标实例所属地域。
    地址输入目标自建实例的主机地址和端口或域名和端口，格式为 IP:Port 或 DomainName:Port。在存在多个地址时，需使用英文逗号（,）隔开，最多支持配置 5 个地址。
    账号校验数据库输入账号所属数据库的库名。
    数据库账号输入目标实例的数据库账号。
    数据库密码输入目标实例数据库账号对应的密码。

    测试链接

    单击测试链接，验证是否成功连接实例。
    当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：

    • 连接认证失败，请检查网络是否正常：当出现该报错提示时，请确认网络的连通性。

    • 连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。

    • 无效的 IP 地址：当出现该报错提示时，请确认 IP 地址的正确性。

    无

    项目

    （可选）从下拉列表中选择该任务所属项目，默认在 default(默认项目) 下。您也可以单击创建新项目，创建新的项目。详细操作，请参见新建项目。

    说明

    • 关于如何授予子用户访问指定项目下资源的权限操作步骤，请参见修改项目权限。

    • 成功创建任务后，如果需要修改实例的所属项目，例如将任务从当前项目移入至其他项目，您可以将资源移入指定项目。详细操作，请参见资源移入项目。

    • 项目是一个虚拟的概念，包括一组资源、用户和角色。通过项目可以对一组资源进行统一的查看和管理，并且控制项目内用户和角色对这些资源的权限。

    标签

    （可选）单击添加标签，为实例添加标签，标签可帮您实现云资源的分类、云资源的访问控制、账单与成本分摊等。标签由一个键值对（Key-Value）组成，用于标识云资源，可以帮助您从不同维度（例如用途、所有者等）对具有相同特征的云资源进行分类，便于筛选和聚合，从而轻松管理云上资源。关于标签的详细信息，请参见标签概述。标签的键值对规则如下：

    • 键

      • 支持任何语言、文字、数字、空格或符号（_.:/=+-@）。

      • 大小写敏感，且长度在 1~128 个字符内。

      • 使用 UTF-8 编码的 Unicode 格式。

      • 不支持设置以 volc: 开头的任何形式的 Key，例如 Volc:、VOLC: 等。

    • （可选）值

      • 支持任何语言、文字、数字、空格或符号（_.:/=+-@）。

      • 大小写敏感，且长度在 0~256 个字符内。

      • 使用 UTF-8 编码的 Unicode 格式。

    说明

    • 单次最多可给任务绑定 20 个标签。单个任务最多可绑定 50 个标签。

    • 同一个资源拥有的标签 Key 不可重复，且一个标签 Key 只有一个值 Value。

    计费方式

    当前仅支持按量计费，您无需选择。

    说明

    关于计费的详细信息，请参见计费说明。

  2. 单击下一步:配置迁移对象。

  3. 在配置迁移对象配置向导页面，配置相关参数信息，如下表所示。

    说明

    • 若暂时不需要启动迁移任务，您可以在完成迁移对象配置后，单击页面右下角的保存。
    • 保存后会跳转回迁移任务列表页，此时任务状态为待启动，您可以在合适的时候再配置迁移任务。配置方法，请参见配置迁移任务。
    参数说明

    迁移类型

    根据业务需要选择迁移类型，其中：

    • 若仅需要全量迁移，可以同时选中结构迁移和全量迁移。

    • 若需要进行不停机迁移，可以同时选中结构迁移、全量迁移和增量迁移。

    说明

    若未选中增量迁移，数据迁移期间请勿在源实例中写入新的数据，以确保数据一致性。

    迁移对象在迁移对象区域中勾选需要迁移的对象，您可以在已选择对象区域中确认需要迁移的对象。同时，在该区域的搜索框内支持模糊搜索，批量删除不需要的目标。
    错误重试时间在迁移任务中，当源库和目标库断连后导致迁移任务失败时，会立即在指定时间内多次重试连接源库和目标库。取值范围：600~86400，单位：秒(s)。默认值为 600 秒。

    全量迁移速率

    按需设置全量迁移速率。防止在迁移速率过高时，影响源库的性能，您可以根据源库和目标库的读写压力情况适当调整以下参数：

    • 每秒迁移的行数：按需开启并设置每秒迁移的行数。默认值 100000，取值范围 1~100000。
    • 每秒迁移的数据量：按需开启并设置每秒迁移的数据量。默认值 25000，取值范围 1~25000，单位 KB。
    • 迁移任务并发数：按需设置迁移任务的并发数。默认值 8，取值范围 8~64。

    说明

    在迁移类型选择全量迁移时，支持配置该参数。

  1. 单击预检查。

  2. （可选）当创建的任务已有预检查时，您可以根据以下提示确认是否重新发起预检查，当需要重新发起预检查时，请在是否重新发起预检查对话框，单击确定。

    • 若源端和目标端的数据库实例未做修改，则无需再次发起预检查。

    • 如果修改了源端、目标端的数据库实例信息或迁移任务的参数配置，那么建议您重新发起预检查，否则可能会导致任务启动失败或者任务中断。

  3. 在预检查配置向导页面，根据检查结果执行以下操作：

    • 单击预检查结果操作列的详情，查看详细的告警和失败信息，并根据告警或失败信息修改库表后，单击重试。

    • 单击操作列的忽略，忽略本次告警继续启动迁移任务。同时，也可以单击忽略全部，一键忽略全部告警信息。

    说明

    • 选择忽略告警并启动迁移任务，可能导致数据不一致，带来业务风险。

    • 关于预检查的具体说明，请参见预检查项。

  4. 在预检查页面右下角，单击确认订单。

  5. 在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

成功创建数据迁移任务后，您可以返回数据库传输服务 DTS 控制台，在数据迁移任务列表查看数据迁移任务的信息。更多信息，请参见查看迁移任务。

相关 API

API描述
CreateTransmissionTask调用 CreateTransmissionTask 接口创建数据库传输服务任务。
ModifyTransmissionTask调用 ModifyTransmissionTask 接口修改传输任务。