1 离线整库同步概述

离线整库同步方案，可周期性和一次性将整库表数据同步到目标端，方案类型包括离线整库同步（一次性全量）、离线整库同步（周期性全量）、离线整库同步（一次性增量）、离线整库同步（周期性增量）、离线整库同步（一次性全量周期性增量） 五种类型，您可根据实际场景进行方案配置，助力您将业务数据更高效、更便捷的同步至湖仓一体分析（LAS）、Hive 、StarRocks、Hudi 等数据库表中。
本文为您介绍离线整库同步的主流程概要及各方案类型的执行说明。

各方案类型说明：

2 前置操作

1. 已开通并创建 DataLeap 项目，创建的全量增量任务均会同步到该项目下。详见新建项目。
2. 已开通全域数据集成（DataSail）产品。详见服务开通。
3. 已创建合适资源规格的独享数据集成资源组，并将其绑定至创建成功的 DataLeap 项目下。购买操作详见资源组管理，项目绑定操作详见数据集成资源组。
4. 已完成来源和目标端的数据源准备，创建数据源操作详见配置数据源。

3 注意事项

1. 同步解决方案同时支持选择的表数量目前上限为 2000 张，但建议先以 100 张以下表数量来试用。
2. 目标数据库需要提前在目标数据源中先创建好，暂不支持在解决方案中自动创建。
3. 目前表建立方式为选用已有表时，需要保证目标表 Schema 和源表 Schema 的表名称、字段名称和字段数量数量保持一致。

4 数据源配置

在配置离线整库同步解决方案前，您需在数据源管理界面中，配置来源端和目标端相应的数据源。详见配置数据源。

• 独享数据集成资源组所在的 VPC 需要和源端数据库实例所在的 VPC 保持一致，火山引擎 RDS 数据库类型需要将 VPC 中的 IPv4 CIDR 地址，加入到 RDS 数据库的白名单下，保证资源组与数据源之间的网络互通；
  
• 若资源组和数据源实例不在同一 VPC 环境时，您可通过公网或者通过专线形式进行互通。网络配置详见网络连通解决方案。

5 新建离线整库同步

数据源配置操作准备完成后，您可开始进行离线整库同步方案配置：

1. 登录 DataSail 控制台。
2. 在左侧导航栏中选择数据同步方案，进入同步方案配置界面。
3. 单击目录树中项目选择入口，选择已创建的 DataLeap 项目。
   
4. 单击右上角新建数据同步解决方案按钮，下拉选择离线整库同步按钮，进入离线整库同步方案配置界面。按照以下配置，完成方案新建。

进入配置界面后，您可按实际场景需求，完成方案的基本配置、映射配置、同步规则配置等流程。

6 基本配置

整库离线同步方案基本配置步骤参数说明如下：

6.1 基本信息

在基本信息中，配置解决方案的名称、方案类型、链路类型及保存路径位置。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

6.2 网络与资源配置

在网络与资源配置中，配置数据来源/目标端数据源信息、集成资源组信息。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

6.3 资源组高级管理

您可在资源组高级配置中，配置全量同步、增量同步、任务调度等运行配置信息。各方案类型对应的运行配置项不同，您可根据实际情况进行配置。

1. 全量同步、增量同步：
   其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

   配置项	说明
   *离线集成任务资源组	默认选择在网络与资源配置中选择好的独享数据集成资源组。您也可下拉选择已在 DataLeap 项目控制台中绑定的其他独享数据集成资源组。 说明 选择的资源组，需要确保能与源端、目标端数据源连通。 您也可以单击资源组管理按钮，前往资源组管理界面进行资源组的查看或新建等操作，详见资源组管理。
   *默认 Quota 数	一次性同步方案（包括一次性全量、一次性增量、一次性全量周期性增量），需设置可同时提交执行的集成任务数量，可根据独享集成资源组规格进行配置，如资源组的大小为 40CU，则 Quota 配置需必须小于 20（40/2），否则会因资源问题导致任务执行时异常。 说明 您也可按需勾选“每次提交执行时不询问”选项，建议您勾选。 若不勾选，方案每次提交执行时，在执行详情 > 任务 Quota 检测步骤中，需要人工进行 Quota 数确认。

2. 调度设置：
   选择离线任务运行时所使用的调度资源组，主要用来支持离线任务执行时，将任务下发分配至独享数据集成资源组中运行，即离线集成任务需调度资源组和独享数据集成资源组来共同承载任务的运行。
   目前调度资源组支持选择公共调度资源组和独享调度资源组。

3. 通道设置：
   配置任务通道相关参数：
   其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

   通道设置
   *期望最大并发数	设置离线任务同步时，可以从源端并行读取或并行写入目标端的最大线程数。 并发数影响数据同步的效率，并发设置越高对应资源消耗也越多，由于资源原因或者任务本身特性等原因，实际执行时并发数可能小于等于设置的期望最大并发数。
   集成高级参数设置	打开高级参数输入按钮，根据实际业务要求，以 Key\Value 形式，在编辑框中输入离线任务所需的高级参数。 可参考下方任务通用高级参数表，更多参数详见高级参数-任务运行参数、高级参数-资源使用参数。 说明 若在此处配置了解决方案数据筛选过滤条件相关的高级参数，则下方同步规则配置 > 增量同步配置的筛选条件将会失效，高级参数中的配置优先级更高，以高级参数中配置的过滤条件为准。

资源组高级配置完成后，单击配置窗口右上角关闭按钮，退出配置窗口，并检查基本配置所有参数无误后，单击右下角下一步按钮，进行方案的映射配置。

7 映射配置

在映射配置界面中，您需完成数据来源库表与库表映射规则匹配策略：

7.1 数据源配置

进行来源库表的选择，其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

7.2 数据转换配置

DataSail 实时/离线整库同步、实时分库分表同步解决方案，支持添加自定义 SQL 转换规则。它支持将源端采集的数据，对其进行各种数据转换操作，以满足各类业务场景需求。
数据转换可以应用于各种轻量级数据处理场景，例如：

• 字段拆分、合并、重排序：可以灵活使用 SELECT 语句，对源表的字段做拆分、合并、顺序调整。
• 清洗过滤：可以使用 WHERE 条件语句，过滤冗余数据、处理缺失值、纠正数据错误等。
• 预处理：可以使用条件函数，对数据（例如 null 值）进行标准化等预处理。
• 格式转换：可以使用转换函数、加解密函数，将数据从一种格式转换为另一种格式。

单击配置详情按钮，展开数据转换配置界面。在数据转换配置界面，您可进行以下配置操作：

1. 语法检查：
   • 编辑行：在编辑行中输入 SQL 脚本转换规则语句，来实现数据转换，具体数据转换配置及注意事项，详见解决方案数据转换配置指南。
   • 增加/删除行：解决方案中有多个目标表，需要多条数据转换语句时，可进行增加或删除行操作。
   • 调整语句顺序：当存在多条转换规则 SQL 时，您可通过上移或下移语句按钮，进行语句顺序调整。
2. 函数库：
   数据转换 SQL 语句中支持多种函数语法，具体函数说明详见数据转换函数库。
3. 高级参数
   您可为同步解决方案配置多表映射高级参数，以key-value的形式输入。如指定表的主键字段信息等：primary_keys=new_id。

7.2 目标库表映射配置

来源库表选择完成后，您便可进行后续的映射规则配置。

1. 自动分区设置
   目前支持设置写入 LAS、Hive 分区表或非分区表，分区字段，您可单击编辑按钮，进行自定义编辑名称，支持多级分区字段配置。

2. 表类型
   LAS 为目标表写入时，需选择目标表的类型，您可按需选择目标表类型为内表或 托管 Hive 表。

3. 高级配置
   展开高级配置按钮，进行使用已有表、高级参数等相关配置，其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

   配置项	说明
   使用已有表配置	当目标表已存在，即下方“表建立方式”为“使用已有表”时，若此时源表与目标表中已有字段列不一致时，可通过列匹配规则，根据实际场景进行列映射规则设置，目前支持自动映射、同名取交映射、数量取交映射几种匹配规则配置： 自动映射：默认映射规则，字段列不一致时，提示目标字段检查异常。 同名取交映射：字段列不一致时，仅同名映射匹配到的字段进行数据同步，未匹配到的字段不做同步。 数量取交映射：源端表与目标端表字段列不一致时，在同名映射的基础上，以字段列数少的端为准，映射匹配到的字段进行同步，未匹配到的字段不做同步。
   源表和目标刷新配置	整库离线方案配置的源表和目标表数量较多时，您可设置单次拉取表数量，来分批进行表映射配置，默认单次拉取数量为 100 张表，您可根据实际情况进行调整，填写范围 1~2000。
   高级参数配置	您可为同步解决方案配置全局的高级参数，以 key-value 的形式输入。如您可通过设置参数：storage_dialect_type=MYSQL，来设定 ByteHouse CDW 表为 MySQL 属性表。

4. 库/表名映射配置
   单击库/表名映射配置按钮，在弹窗中配置库表匹配策略，支持选择与来源库表同名和自定义方式匹配：

   • 与来源库表同名：来源库表选择完成后，解决方案默认将目标端的库表名称，与源端库表信息同名，若目标端不存在同名数据表时，将会自动创建。

     注意

     • 目前暂不支持自动创建同名数据库，您需先在目标端，如 StarRocks 集群中创建好同名的数据库。
     • 目标端为 EMR Doris 半托管集群数据源时，建议开启集群高可用服务，使 Doris Master 节点数量在 3 个以上，保障 DataSail 解决方案自动创建表成功；若 Doris 半托管集群仅有 1 Master+1 Core 或 1 Master+2 Core 节点数量时，您需在目标 Doris 数据库中进行手动创建表，并需手动指定副本参数 replication_num，示例如下：

       CREATE TABLE demo.t3 (pk INT, v1 INT SUM) AGGREGATE KEY (pk) DISTRIBUTED BY hash (pk) PROPERTIES ('replication_num' = '1');
       

   • 自定义：您也可通过自定义匹配方式，设置源端与目标库表的匹配策略，配置方式详见“9 库表映射规则说明”。
     映射规则配置完成后，单击弹窗右上角关闭按钮，即规则映射配置完成。

5. DDL 配置
   在实时整库 CDC、分库分表、离线整库解决方案中，通常会遇到较多来源端新增表、新增列等 DDL 操作场景。
   离线整库 PostgreSQL2Hive 通道，可根据实际业务场景，对来源端不同的 DDL 消息，在配置解决方案同步到目标端数据源时，可进行预设不同的处理策略。

   1. 单击 DDL 配置按钮，在弹窗中进行消息处理策略配置；
   2. 按需进行新建表、新增列、删除列、重命名列、修改列类型等处理策略选择；
   3. DDL 策略配置完成后，单击弹窗右上角关闭按钮，DDL 配置即完成。
      DDL 消息处理策略说明详见解决方案 DDL 策略配置

6. 刷新源表和目标表映射
   库/表映射配置、DDL 等配置完成后，您可单击刷新源表和目标表映射按钮，自动加载源表和目标表信息，您可以在列表中进行以下操作：

   说明

   对于历史方案，操作方案编辑，如在原有方案中进行新增表、删除表操作时，单击刷新源表和目标表映射按钮，会弹窗表选择范围，您可按需选择刷新全量表映射或仅刷新新增表映射按钮进行表映射刷新。
   
   在方案编辑过程中，若同时对库/表名映射、DDL 配置、使用已有表配置、高级参数配置、数据源等所有涉及表内容的修改时，系统将默认会刷新全量表映射，且不会弹出选择窗口。

   操作项	说明
   筛选库表	单击漏斗按钮，您可输入源端与目标端的库表信息，进行筛选搜索。
   同步主键	默认设置为源表中设置的主键字段信息，您可下拉进行选择源表中其余字段作为目标表的主键字段。
   表建立方式	表建立方式分为使用已有表、自动建表和数据表不存在几种方式： 使用已有表：当映射配置检查，目标端存在与源端表同名的表名时，则会直接使用已有表，来执行方案。 注意 使用已有表时，目标端为 ByteHouse CDW、ByteHouse CE 表时，需保证以下表结构： ByteHouse CDW 表，表配置时必须要设置唯一键字段； ByteHouse CE 表，表引擎必须选择为 HaUniqueMergeTree： 自动建表：当映射配置检查，目标端不存在与源端表同名的表名时，将会通过任务，以定义的目标表名，自动创建目标表。 数据表不存在：当目标端无法通过 DataSail 自动建表时，您需要进入目标端数据库中，手动创建数据表后，再继续配置解决方案。
   查看字段信息	可以查看来源表、目标表的字段名和其对应的字段类型等信息。在弹窗中，您也可对自动创建的目标表字段名、字段类型和字段描述信息，进行手动编辑调整。
   配置	您可为同步解决方案配置多表映射高级参数，以 key-value 的形式输入。
   移除	单击操作列中的更多 > 移除按钮，可将当前源端与目标端的映射删除。
   重置	单击操作列中的更多 > 重置按钮，可重置源表与目标表的映射关系。

   方案映射配置完成后，单击右下角下一步按钮，进行任务的同步规则配置。

8 同步规则配置

各方案类型对应的同步规则配置项不同，您可根据实际情况进行配置：

• 全量同步
  离线整库同步（一次性全量）、离线整库同步（周期性全量）、离线整库同步（一次性全量周期性增量）这三种方案需选择源端全量数据写入目标库表前，是否清理目标库表中的历史数据。

• 增量同步
  离线整库同步（一次性增量）、离线整库同步（周期性增量）、离线整库同步（一次性全量周期性增量）这三种方案需配置增量筛选条件，您可在输入框中直接输入 where 后的语句，对同步的源端数据表进行过滤，且只需在框中填写 where 语句，无需填写 where 关键字。
  如：date_time='${DATE}'

  说明

  若在资源组高级管理 > 集成高级参数设置中配置了解决方案数据筛选过滤条件的相关高级参数，则此处的增量同步筛选条件将会失效，高级参数中的配置优先级更高，以高级参数中配置的过滤条件为准。

• 周期设置
  离线整库同步（周期性全量）、离线整库同步（周期性增量）、离线整库同步（一次性全量周期性增量）这三种方案，需配置相应的周期任务执行属性：
  其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

  配置项	说明
  周期设置：配置周期性执行任务规则。
  *执行频率	选择周期任务执行频率，支持选择以下几种频率。 分钟级：执行时间需要设置分钟时间间隔和执行时刻。 小时级：执行时间需要设置执行小时和执行时刻，执行小时支持多选。 天级：执行时间需要设置具体的时间。 周级：执行日期需要设置每周几来执行，支持多选，还需选择具体执行时间。 月级：执行日期需要设置每月几号来执行，支持多选，还需选择具体执行时间。
  *失败重跑次数	任务失败后重试的次数。
  *失败重跑间隔	任务失败后每次重试的时间间隔。

按需配置整库离线方案的同步规则完成后，单击右下角提交方案按钮，进行方案的提交。
在弹窗中，勾选方案立即执行，并单击确定按钮，完成整库离线同步解决方案的创建。

9 库表映射规则说明

目前，离线整库方案提供了“与来源库表同名”和“自定义”两种库表匹配策略。

9.1 与来源库表同名

在对应数据源下，选择源端需要同步的数据库表后，默认将源端数据库表，写入到目标端同名的数据库和同名数据表中。此策略下，在方案运行时，默认将在目标数据源内与来源数据库表中的同名对象进行匹配，若目标端不存在该数据表，则方案将会自动生成同名数据表。

示例如下：
将源端数据库 DB1 下的 TableA 和 TableB 同步至 LAS，配置“与来源库表同名”策略后，任务运行时将默认在目标数据源内分别匹配 “DB1.TableA” 和 “DB1.TableB”。
若目标端 DB1 下不存在 TableA，则自动生成 TableA；已存在 TableB，则直接使用目标端的 TableB。

9.2 自定义

同时我们提供了三种对库表映射规则进行转换的配置方式。您在源端选中需要同步的数据库表后，将通过设置的库表映射规则，例如在源端数据库名或表名中加上统一固定的前缀或后缀，在方案执行时，实现写入到转换后的目标端数据库和数据表中，提升方案配置效率。
以下为您介绍三种自定义的库表映射规则：

9.3 自定义库表匹配策略示例

下面以 MySQL 和 PostgreSQL 数据源中的库表，映射转换到目标端 LAS 数据库表中为例，为您示例映射转换的匹配策略。

• 源端 MySQL 数据库中存在 DB1、DB2 两个数据库；DB1 下已有表 Table1、DB2 下已有表 Table2。

  	源端	源库名和目标库名转换规则	源表名和目标表名转换规则	目标表名规则	目标端转换结果
  示例1	DB1.Table1 DB2.Table2	DB1 -> Target_DB1 DB2 -> Target_DB2	Table1 -> Target_Table1	无	Target_DB1.Target_Table1 Target_DB2.Table2
  示例2	DB1.Table1 DB2.Table2	DB1 -> Target_DB1 DB1 -> Target_DB1_1	无	无	Target_DB1_1.Table1 DB2.Table2
  示例3	DB1.Table1 DB2.Table2	无	Table1 -> Target_Table1	test	DB1.test DB2.test
  示例4	DB1.Table1 DB2.Table2	DB1 -> Target_DB1	Table1 -> Target_Table1	${db_name_src_transed}test${table_name_src_transed}	Target_DB1.Target_DB1_test_Target_Table1 DB2.DB2_test_Table2

• 源端 PostgreSQL 数据库中存在 DB 数据库，DB 下有 Schema1 和 Shcema2，Schema1 下已有表 Table1，Shcema2 下已有表 Table2。

  	源端	源库名和目标库名转换规则	源表名和目标表名转换规则	目标表名规则	转换结果
  示例1	DB.Schema1.Table1 DB.Shcema2.Table2	无	无	无	DB.Table1 DB.Table2
  示例2	DB.Schema1.Table1 DB.Shcema2.Table2	DB -> Target_DB	Table1 -> Target_Table1 Table2 -> Target_Table2	无	Target_DB.Target_Table1 Target_DB.Target_Table2
  示例3	DB.Schema1.Table1 DB.Shcema2.Table2	DB -> Target_DB	Table1 -> Target_Table1	${db_name_src_transed}test${table_name_src_transed}	Target_DB.Target_DB_test_Target_Table1 Target_DB.Target_DB_test_Table2
  示例4	DB.Schema1.Table1 DB.Shcema2.Table2	DB -> Target_DB	Table1 -> Target_Table1	${table_name_src_transed}_${schema_name_src_transed}	Target_DB.Target_Table1_schema1 Target_DB.Table2_schema2

10 离线整库同步方案管理

方案创建完成后，进入到方案列表界面，便可查看方案的执行概况，同时您也可以在列表界面进行以下操作：

10.1 解决方案筛选

在创建众多的解决方案后，您可在方案列表界面通过搜索或筛选的方式进行快速定位方案。

• 您可通过方案名称、方案 ID、数据来源名称、数据目标名称等信息，输入搜索的方式进行筛选。
• 您也可通过下拉选择方案操作状态、方案类型、数据来源名称、数据目标类型、创建人等选项进行任务的定位操作。

10.2 解决方案运维

在方案列表的运维列中，您可操作执行方案运维相关内容：

11 后续步骤

方案提交完成，任务处于运行中后，您也可以前往运维中心 > 离线任务运维界面，对离线任务进行一系列运维操作，如对任务配置监控报警，开启关闭任务等操作。运维操作详见离线任务运维。