本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 MySQL 同步至公网自建 ElasticSearch 任务。
已创建云数据库 MySQL 版实例和数据库。详细信息,请参见创建 RDS MySQL 实例和创建数据库。
已在公网环境中自行搭建 ElasticSearch 的实例和数据库。
当数据库实例的接入方式选择的是公网自建时,且数据库实例开启了访问限制,那么在创建数据库传输任务前,您需要将 DTS 服务器 IP 地址添加至数据库实例的白名单或安全组中。不同地域下的 DTS 服务器 IP 地址不同,具体如下所示:
华南 1(广州)、华北 2(上海)和华北 2(北京)的 DTS 服务器 IP 地址是 221.194.189.0/27,157.148.90.32/27,180.184.132.64/27,61.129.54.64/27,220.196.172.32/27,117.135.143.32/27,220.196.168.32/27,116.132.250.32/27,111.45.13.32/27,125.88.248.32/27,180.153.35.32/27,220.181.65.32/27,220.181.65.64/27
。
亚太东南(柔佛)的 DTS 服务器 IP 地址是 101.47.0.32/27,220.181.65.32/27,220.181.65.64/27
。
关于 DTS 服务器 IP 地址段的详细信息,请参见添加 DTS 服务器的 IP 地址段。
已确认源端和目标端的网络连通性与服务可用性。
(可选)根据预检查项中的说明,检查源端和目标端中各同步对象。更多详情,请参见预检查项(MySQL) 和预检查项(ElasticSearch)。
在库表结构初始化过程中,数据库传输服务 DTS 会将源数据库中的外键同步到目标数据库。
在全量初始化和增量同步过程中,数据库传输服务 DTS 会以 Session 级别暂时禁用约束检查和外键级联操作。当任务运行时源库存在级联更新、删除操作时,可能会导致数据不一致。
当前暂不支持同步至 V2 版本的 ElasticSearch 实例,如需使用请提交工单。
在数据同步的过程中,若遇到目标库中已存在同主键或唯一键的情况,DTS 不会保留目标端中冲突的数据,即源端的数据将会覆盖掉目标端的数据。当数据进行冲突覆盖时,如果目标库中存在同名表,可能会导致数据不一致或任务失败等问题,具体如下所示。建议您通过表名映射的方式、删除或重命名目标库中同名表的方式避免数据不一致等问题降低业务风险。
表结构一致时:全量同步的数据将覆盖目标表中与源库主键或唯一键的值相同的记录。
表结构不一致时:可能会导致无法初始化数据,只能同步部分列数据或同步失败。
类型 | 说明 |
---|---|
源库限制 |
|
目标库限制 | 数据库版本:当前支持 6.0 和 7.0 的 ElasticSearch 实例。 |
其他限制 |
|
当前仅支持同步 DML 语句到 ElasticSearch。
一对一单向同步
一对多单向同步
多对一单向同步
关于数据库传输服务 DTS 支持的同步拓扑类型和使用说明,请参见数据同步拓扑。
操作类型 | SQL 操作语句 |
---|---|
DML | INSERT、UPDATE、DELETE |
数据库 | 结构初始化 | 全量初始化 | 增量同步 |
---|---|---|---|
源库 | SELECT 权限 | SELECT 权限 | REPLICATION SLAVE 、REPLICATION CLIENT 和 SELECT 权限。 |
ElasticSearch 普通用户 |
|
说明
当地域选择华南1(广州) 时,不支持创建火山引擎版 veDB MySQL 相关任务。
类别 | 参数 | 说明 |
---|---|---|
无 | 任务名称 | (可选)自定义同步任务名称。命名规则如下:
|
链路规格 | 按需选择同步任务的链路规格,当前支持 Compact 和 Standard。 说明 成功创建任务后,不支持修改任务的链路规格。关于链路规格的详细信息,请参见产品规格。 | |
同步拓扑 | 根据业务需要选择同步拓扑,当前仅支持单向同步。 说明 双向同步当前仅支持 MySQL 5.6 及以上版本。关于同步拓扑的更多信息,请参见数据同步拓扑。 | |
源库配置 | 选择已有数据源 | 您可以按需选择是否使用已录入的实例:
|
实例类型 | 选择 MySQL。 | |
接入方式 | 选择火山引擎版 MySQL。 | |
地域 | 选择目标实例所属地域。 | |
是否跨火山引擎账号 | 按需选择是否跨账号传输数据,取值如下:
| |
跨账号 ID | 输入源库所属的火山引擎账号 ID。 | |
跨账号角色 | 输入已授权 DTS 访问跨账号资源的 IAM 角色。 | |
MySQL 实例 | 在下拉列表中选择云数据库版 MySQL 的目标实例。 说明 您也可以通过实例 ID 或名称搜索目标实例。 | |
节点类型 | 按需选择节点类型,当前支持选择主节点和只读节点。 说明 当实例内创建了只读节点时,支持选择只读节点。关于创建只读节点的详细操作,请参见只读节点概述。 | |
MySQL 只读节点 | 从下拉列表中选择目标只读节点。 说明 在实例中创建了只读节点,且节点类型选择只读节点时,支持配置此参数。 | |
数据库账号 | 输入目标实例的数据库账号。 | |
数据库密码 | 输入目标实例数据库账号对应的密码。 | |
测试链接 | 单击测试链接,验证是否成功连接实例。 | |
目标库配置 | 选择已有数据源 | 您可以按需选择是否使用已录入的实例:
|
实例类型 | 选择 ElasticSearch。 | |
接入方式 | 选择公网自建 ElasticSearch。 | |
地址 | 输入目标库自建实例的主机地址。 | |
数据库账号 | 输入目标实例的数据库账号。 | |
数据库密码 | 输入目标实例数据库账号对应的密码。 | |
测试链接 | 单击测试链接,验证是否成功连接实例。 说明 当测试连接失败时,根据失败提示信息修改相关配置后,再次单击测试连接,验证是否可以成功连接实例。 | |
无 | 项目 | (可选)从下拉列表中选择该任务所属项目,默认在 default(默认项目) 下。您也可以单击创建新项目,创建新的项目。详细操作,请参见新建项目。 |
标签 | (可选)单击添加标签,为实例添加标签,标签可帮您实现云资源的分类、云资源的访问控制、账单与成本分摊等。标签由一个键值对(Key-Value)组成,用于标识云资源,可以帮助您从不同维度(例如用途、所有者等)对具有相同特征的云资源进行分类,便于筛选和聚合,从而轻松管理云上资源。关于标签的详细信息,请参见标签概述。标签的键值对规则如下:
说明
| |
计费方式 | 按需选择计费方式,当前支持按量计费和包年包月两种计费方式。 说明 关于计费的详细信息,请参见计费说明。 | |
购买时长 | 按需选择包年包月的购买时长。 说明 在计费方式选择包年包月时,支持设置购买时长。 |
单击下一步:配置同步对象。
在配置同步对象配置向导页面,配置相关参数信息,如下表所示。
说明
若暂时不需要启动同步任务,您可以在完成同步对象配置后,单击页面右下角的保存。
保存后会跳转回同步任务列表页,此时任务状态为待启动,您可以在合适的时候再配置同步任务。配置方法,请参见配置同步任务。
参数 | 说明 | |
---|---|---|
同步类型 | 按需选择同步类型,当前支持结构初始化、全量初始化步和增量同步。 说明
| |
索引拼接规则 | 按需选择索引的拼接规则,支持表名和库名+表名选项:
说明 成功创建同步任务后,再修改索引拼接规则会重置同步对象的命名,须谨慎操作。 | |
主键冲突处理 | 选择当目标库已存在同主键值的行时的处理方法,当前仅支持选择冲突覆盖,即使用源库数据覆盖目标库数据,同步任务可正常启动。 | |
同步起始点 | 设置从某个指定位点或时间点拉取 Binlog 日志,取值如下:
说明
| |
同步类型选择 | 选择需要同步的操作类型,当前仅支持同步 DML 语句,即支持同步 DELETE 、Insert 、Update ,默认勾选全部 DML 操作语句,可按需调整。 | |
是否开启外键检查 | 按需选择是否开启外键检查,开启外键检查后,支持同步源库的外键级联更新、删除等操作,从而保证数据同步的完整性和一致性。 | |
同步对象 | 选择需要同步的对象,如表格、视图、函数或存储过程等。同时,您可以在已选择对象区域中实现以下操作:
| |
过滤条件 | (可选)在开启过滤条件时,可以在全量数据扫描阶段即开始过滤数据,进而提高同步性能,您可以在目标库、表或视图的过滤条件列,单击笔状图标,设置过滤条件,然后单击校验语句,验证是否满足过滤条件。 说明
| |
库表字段配置 | 配置库表字段相关信息,可以将文档自定义路由至 ElasticSearch 实例的分片中:
说明 您也可以批量为多个数据库设置是否 _routing。 | |
高级配置 | 开启 ETL 配置 | 选择是否开启 ETL 功能。关于 ETL 的详细信息,请参见 ETL 简介。
|
错误重试时间 | 在同步任务中,当源库和目标库断连后导致同步任务失败时,会立即在指定时间内多次重试连接源库和目标库。取值范围:600~86400,单位:秒(s)。默认值为 600 秒。 |
单击预检查。
在预检查配置向导页面,根据检查结果执行以下操作:
单击预检查结果操作列的详情,查看详细的告警和失败信息,并根据告警或失败信息修改库表后,单击重试。
单击操作列的忽略,忽略本次告警继续启动同步任务。同时,也可以单击忽略全部,一键忽略全部告警信息。
说明
选择忽略告警并启动同步任务,可能导致数据不一致,带来业务风险。
关于预检查的具体说明,请参见预检查项(MySQL) 和预检查项(ElasticSearch)。
在预检查页面右下角,单击确认订单。
根据创建任务的计费类型,选择配置方式:
按量付费
在确认订单配置向导页面,再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》,然后单击创建并启动任务。
包年包月
在确认订单配置向导页面,再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》,然后单击创建并启动任务。
在确认订单信息配置向导页面,确认任务的计费信息。
(可选)单击代金券兑换,在代金券兑换对话框,输入代金券兑换码后单击兑换。
(可选)在代金券区域,按需勾选可用代金券,单次仅支持选中一张,即可抵扣部分费用。也可不使用代金券。
单击下一步。
说明
在支付完成配置向导页面,显示支付成功则任务创建成功。
成功创建数据同步任务后,您可以返回 DTS 控制台,在数据同步任务列表查看数据同步任务的信息。
API | 描述 |
---|---|
CreateTransmissionTask | 调用 CreateTransmissionTask 接口创建数据库传输服务任务。 |
ModifyTransmissionTask | 调用 ModifyTransmissionTask 接口修改传输任务。 |