本场景介绍如何在数据库传输服务 DTS 控制台创建专有网络 MySQL 同步至公网自建 ElasticSearch 任务。

前提条件

• 按需设置源端信息，具体如下所示：

  • 在使用 VPN 实现数据迁移时，自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作，请参见搭建云上 VPC 与云下多数据中心网络互通。

  • 在需要使用专线实现数据迁移时，您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作，请参见配置专线连接。

• 已在公网环境中自行搭建 ElasticSearch，并创建数据库账号。
  

  • 当数据库实例的接入方式选择的是专有网络时，且数据库实例开启了访问限制，那么在创建数据库传输任务前，您需要将子网网段添加至数据库实例的白名单或安全组中。华南1（广州）子网网段是 172.31.0.0/20，华北2（上海）和华北2（北京）子网网段是 192.168.3.0/24，亚太东南（柔佛）子网网段是 192.168.0.0/24，中国香港的子网网段是 192.168.0.0/24。更多信息，请参见添加 DTS 服务器的 IP 地址段。

• 当数据库实例的接入方式选择的是公网自建时，且数据库实例开启了访问限制，那么在创建数据库传输任务前，您需要将 DTS 服务器 IP 地址添加至数据库实例的白名单或安全组中。不同地域下的 DTS 服务器 IP 地址不同，具体如下所示：

  • 华南 1（广州）、华北 2（上海）和华北 2（北京）的 DTS 服务器 IP 地址是 221.194.189.0/27,157.148.90.32/27,180.184.132.64/27,61.129.54.64/27,220.196.172.32/27,117.135.143.32/27,220.196.168.32/27,116.132.250.32/27,111.45.13.32/27,125.88.248.32/27,180.153.35.32/27,220.181.65.32/27,220.181.65.64/27。

  • 亚太东南（柔佛）的 DTS 服务器 IP 地址是 101.47.0.32/27,220.181.65.32/27,220.181.65.64/27。

  • 中国香港的 DTS 服务器 IP 地址是 101.47.65.32/28,101.47.65.48/28。
      关于 DTS 服务器 IP 地址段的详细信息，请参见添加 DTS 服务器的 IP 地址段。

• 已确认源端和目标端的网络连通性与服务可用性。

• （可选）根据预检查项中的说明，检查源端和目标端中各同步对象。更多详情，请参见预检查项（MySQL）和预检查（ElasticSearch）。

注意事项

• 当源端为自建 MySQL 时，您需要关注以下信息：

  • 同步时，如果源端进行主备切换，会导致同步任务失败。

  • 在同步时如果源端执行了重启操作，同步任务会暂时中断并自动尝试修复。如果任务长时间没恢复，请提交工单联系技术支持。

• 在库表结构初始化过程中，数据库传输服务 DTS 会将源数据库中的外键同步到目标数据库。

• 在全量初始化和增量同步过程中，数据库传输服务 DTS 会以 Session 级别暂时禁用约束检查和外键级联操作。当任务运行时源库存在级联更新、删除操作时，可能会导致数据不一致。

• 在创建专有网络数据同步任务的过程中，系统会默认在您选择的私有网络内创建数张网卡，网卡会默认挂载到您选择的子网上。网卡的名称格式为 dts_shuttle_********。

• 在数据同步的过程中，若遇到目标库中已存在同主键或唯一键的情况，DTS 不会保留目标端中冲突的数据，即源端的数据将会覆盖掉目标端的数据。当数据进行冲突覆盖时，如果目标库中存在同名表，可能会导致数据不一致或任务失败等问题，具体如下所示。建议您通过表名映射的方式、删除或重命名目标库中同名表的方式避免数据不一致等问题降低业务风险。

  • 表结构一致时：全量同步的数据将覆盖目标表中与源库主键或唯一键的值相同的记录。

  • 表结构不一致时：可能会导致无法初始化数据，只能同步部分列数据或同步失败。

使用限制

应用限制

操作限制

当前仅支持同步 DML 语句到 ElasticSearch。

支持的同步架构

• 一对一单向同步

• 一对多单向同步

• 多对一单向同步

关于数据库传输服务 DTS 支持的同步拓扑类型和使用说明，请参见数据同步拓扑。

支持的 SQL 操作

数据库账号最小权限策略

操作步骤

1. 登录 DTS 控制台。
2. 在顶部菜单栏，选择项目和地域。
3. 在左侧导航栏，单击数据同步。
4. 在数据同步列表页面，单击创建任务。

5. 在创建同步任务页面的配置源库及目标库配置向导页面，配置以下参数信息。

5. 单击下一步:配置同步对象。

6. 在配置同步对象配置向导页面，配置相关参数信息，如下表所示。

   说明

   • 若暂时不需要启动同步任务，您可以在完成同步对象配置后，单击页面右下角的保存。

   • 保存后会跳转回同步任务列表页，此时任务状态为待启动，您可以在合适的时候再配置同步任务。配置方法，请参见配置同步任务。

   参数		说明
   同步类型		按需选择同步类型，当前支持结构初始化、全量初始化步和增量同步。 说明 默认勾选增量同步。 在勾选结构初始化或全量初始化时，预检查完成后，数据库传输服务 DTS 会将源实例中待同步对象的数据在目标实例中初始化，作为后续增量同步数据的基础。
   索引拼接规则		按需选择索引的拼接规则，支持表名和库名+表名选项： 表名：当您选择表名后，在目标 ElasticSearch 实例中创建的索引名和表名相同。 库名+表名：当您选择库名+表名后，在目标 ElasticSearch 实例中创建的索引名为库名+表名。 说明 成功创建同步任务后，再修改索引拼接规则会重置同步对象的命名，须谨慎操作。
   主键冲突处理		选择当目标库已存在同主键值的行时的处理方法，当前仅支持选择冲突覆盖，即使用源库数据覆盖目标库数据，同步任务可正常启动。
   同步起始点		设置从某个指定位点或时间点拉取 Binlog 日志，取值如下： 系统默认：默认为当前时间点。 指定 GTID：在输入框内输入指定的 GTID，格式为 source_id:transaction_id。 指定 GTID_EXECUTED：在输入框内输入指定的 GTID_EXECUTED，格式为 source_id:transaction_id，当存在多个时，可使用英文逗号（,）隔开。关于如何获取实例的 GTID_EXECUTED，请参见如何获取实例的 GTID_EXECUTED。 指定时间戳：单击输入框，选择日期，单击选择时间设置时间点，然后单击确定。 说明 当同步类型勾选了全量初始化时，不支持此步骤。 在同步类型同时勾选了全量初始化和增量同步时，同步起始点默认为当前时间点且不支持修改。 GTID、GTID_EXECUTED 必须是源端合法的值，否则预检查时会报错。 当选择指定时间戳时，您设置的时间必须要晚于源端 Binlog 的最早时间。当没有对应时间 Binlog 时，则选取最接近 Binlog 的起点。
   同步类型选择		选择需要同步的操作类型，当前仅支持同步 DML 语句，即支持同步 DELETE、Insert、Update，默认勾选全部 DML 操作语句，可按需调整。
   是否开启外键检查		按需选择是否开启外键检查，开启外键检查后，支持同步源库的外键级联更新、删除等操作，从而保证数据同步的完整性和一致性。
   同步对象		选择需要同步的对象，如表格、视图、函数或存储过程等。同时，您可以在已选择对象区域中实现以下操作： 重命名库或表：单击目标库、表和视图后的笔状图标，重命名库、表和视图，支持通过普通搜索和全局搜索方式查询目标对象。如果在同步对象区域勾选了整库，则在已选择对象区域仅支持修改库名，且不支持展开该数据库。 筛选删除不需要的目标：在已选择对象区域的搜索框内支持模糊搜索，批量删除不需要的数据库、表等目标。 过滤表内数据：勾选过滤数据，可以实现对表内数据的过滤。 说明 在同步对象或已选择对象区域支持通过正则表达式搜索目标对象。
   过滤条件		（可选）在开启过滤条件时，可以在全量数据扫描阶段即开始过滤数据，进而提高同步性能，您可以在目标库、表或视图的过滤条件列，单击笔状图标，设置过滤条件，然后单击校验语句，验证是否满足过滤条件。 说明 该功能当前属于邀测阶段，如需使用，请提交工单联系技术支持。 当同步对象的库、表或视图勾选了过滤数据，才支持配置此字段。 过滤条件当前支持=、!=、<、>、<=、>=、in、is null、and 和 or操作符。
   库表字段配置		配置库表字段相关信息，可以将文档自定义路由至 ElasticSearch 实例的分片中： 是否_routing。确定是否需要自定义路由模式： 是：您可以将文档自定义路由至 ElasticSearch 的分片中。 否：只能将文档通过 _id 路由至 ElasticSearch 的分片中。 _routing 列：自定义将文档索引至 ElasticSearch 分片内。默认为 _id。 _id 取值：自定义构建文档 _id 值。当选择多个字段组成 _id 时，需使用下划线（_）连接。 说明 您也可以批量为多个数据库设置是否 _routing。
   高级配置	开启 ETL 配置	选择是否开启 ETL 功能。关于 ETL 的详细信息，请参见 ETL 简介。 是：表示开启 ETL 功能。 在开启 ETL 功能后，您可以参考 DSL 语法配置数据处理 ETL 规则，在 Code goes here... 输入框内输入数据处理 ETL 规则即 DSL 脚本，单击校验语法，验证数据处理语句是否正确。您也可以单击调试配置测试您创建的 ETL 规则的效果，具体调试方式，请参见通过 ETL Playground 工具校验 ETL 规则。 否：表示不开启 ETL 功能。
   	错误重试时间	在同步任务中，当源库和目标库断连后导致同步任务失败时，会立即在指定时间内多次重试连接源库和目标库。取值范围：600~86400，单位：秒(s)。默认值为 600 秒。
   全量同步速率	按需设置全量同步速率。防止在同步速率过高时，影响源库的性能，您可以根据源库和目标库的读写压力情况适当调整以下参数： 每秒同步的行数：默认值 100000，取值范围 1~100000。 每秒同步的数据量：默认值 25000，取值范围 1~25000，单位 KB。 说明 在同步类型选择全量初始化时，支持配置该参数。

8. 单击预检查。

9. （可选）当创建的任务已有预检查时，您可以根据以下提示确认是否重新发起预检查，当需要重新发起预检查时，请在是否重新发起预检查对话框，单击确定。

   • 若源端和目标端的数据库实例未做修改，则无需再次发起预检查。

   • 如果修改了源端、目标端的数据库实例信息或同步任务的参数配置，那么建议您重新发起预检查，否则可能会导致任务启动失败或者任务中断。

10. 在预检查配置向导页面，根据检查结果执行以下操作：

    • 单击预检查结果操作列的详情，查看详细的告警和失败信息，并根据告警或失败信息修改库表后，单击重试。

    • 单击操作列的忽略，忽略本次告警继续启动同步任务。同时，也可以单击忽略全部，一键忽略全部告警信息。

    说明

    • 选择忽略告警并启动同步任务，可能导致数据不一致，带来业务风险。

    • 关于预检查的具体说明，请参见预检查项（MySQL） 和预检查项（ElasticSearch）。

11. 在预检查页面右下角，单击确认订单。

12. 根据创建任务的计费类型，选择配置方式：

    • 按量付费
      在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

    • 包年包月

      1. 在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

      2. 在确认订单信息配置向导页面，确认任务的计费信息。

      3. （可选）单击代金券兑换，在代金券兑换对话框，输入代金券兑换码后单击兑换。

      4. （可选）在代金券区域，按需勾选可用代金券，单次仅支持选中一张，即可抵扣部分费用。也可不使用代金券。

      5. 单击下一步。

      说明

      在支付完成配置向导页面，显示支付成功则任务创建成功。

成功创建数据同步任务后，您可以返回 DTS 控制台，在数据同步任务列表查看数据同步任务的信息。

相关 API