一键实时整库同步方案支持全增量一体化同步，本实践中，先将 PostgreSQL 源端全量数据通过离线任务同步方式迁移，然后再通过实时同步增量任务，将增量数据采集至目标端 ByteHouse 云数仓版（ByteHouse CDW）数据库表中。
本文为您介绍如何创建一键实时同步，将全量和增量数据同步至 ByteHouse CDW 数据库中。

1 前置操作

1. 已开通并创建 DataLeap 项目，创建的全量增量任务均会同步到该项目下。详见新建项目。
2. 已创建合适资源规格的独享数据集成资源组，并将其绑定至创建成功的 DataLeap 项目下。购买操作详见资源组管理，项目绑定操作详见数据集成资源组。
3. 已开通全域数据集成（DataSail）产品。详见服务开通。

2 注意事项

1. 目标端 ByteHouse CDW 库需要提前在集群中先创建好，暂不支持在解决方案中自动创建。创建 ByteHouse 数据库，详见数据库表及视图。
2. 目前支持读写的 PostgreSQL 可选版本为 PostgreSQL 10、11、12、13、14，配置解决方案通道时，需注意以上 PostgreSQL 版本要求。

3 数据同步解决方案

3.1 数据源配置

3.1.1 PostgreSQL 数据源配置（源端）

在配置实时整库同步解决方案前，您需在数据源管理界面中，配置来源端 PostgreSQL 数据源。详见 PostgreSQL 数据源配置。

3.1.2 ByteHouse CDW 数据源配置（目标端）

在配置实时整库同步解决方案前，您需在数据源管理界面中，配置目标端 ByteHouse CDW 数据源。详见 ByteHouse云数仓版 数据源配置。

ByteHouse 云数仓版网络配置方式：

3.2 新建数据实时整库同步

数据源配置操作准备完成后，您可开始进行实时整库同步方案配置：

1. 登录 DataSail 控制台。
2. 在左侧导航栏中选择数据同步方案，进入同步方案配置界面。
3. 单击目录树中项目选择入口，选择已创建的 DataLeap 项目。
4. 单击右上角新建数据同步解决方案按钮，下拉选择实时整库同步按钮，进入整库实时同步方案配置界面。按照以下配置，完成方案新建。

3.2.1 基本配置

基本配置参数说明如下表所示。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

方案基本配置完成后，单击右下角下一步按钮，进行方案的数据来源配置。

3.2.2 数据来源配置

在数据来源配置界面中，完成数据来源设置与库表映射规则匹配策略：
其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

数据来源配置完成后，单击右下角下一步按钮，进行方案的数据缓存配置。

3.2.3 数据缓存配置

使用缓存，可对同步任务进行缓冲，在性能和稳定性上有所提升，适合对稳定性要求高以及数据量大的场景，但需额外增加缓存数据源及相应成本，请按需配置。
整库实时同步解决方案，目前支持“使用缓存”、“无需缓存，直接同步”这两种缓存配置方式。本次 PostgreSQL2ByteHouse_CDW 通道中，目前仅支持“无需缓存，直接同步”方式，单击右下角下一步按钮，进入数据目标设置。

3.2.4 数据目标设置

在数据目标配置界面中，完成数据源目标端设置与映射相关配置：
其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

数据目标配置完成后，单击右下角下一步按钮，进行方案运行参数配置。

3.2.5 DDL 策略配置

PostgreSQL2ByteHouse_CDW 解决方案通道，暂不支持配置 DDL 策略，后续敬请期待。其余通道支持能力详见解决方案 DDL 策略配置。
DDL 策略配置完成后，单击右下角下一步按钮，进行任务运行配置。

3.2.6 运行配置

1. 离线全量同步
   其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

   配置项	说明
   *离线集成任务资源组	下拉选择 DataLeap 项目控制台中已绑定的独享数据集成资源组： 选择的资源组，需要确保能与源端、目标端数据源连通，您可单击右侧的连通性测试按钮，进入测试窗口，单击连通性测试按钮，测试选择的资源组是否可以和两侧数据源连通成功。 您也可以单击资源组管理按钮，前往资源组管理界面进行资源组的查看或新建等操作，详见资源组管理。
   *默认 Quota 数	设置可同时提交执行的集成任务数量，可根据独享集成资源组规格进行配置，如资源组的大小为 40CU，则 Quoto 配置需必须小于 20（40/2），否则会因资源问题导致任务执行时异常。
   *期望最大并发数	设置离线任务同步时，可以从源端并行读取或并行写入目标端的最大线程数。 并发数影响数据同步的效率，并发设置越高对应资源消耗也越多，由于资源原因或者任务本身特性等原因，实际执行时并发数可能小于等于设置的期望最大并发数。
   集成高级参数设置	打开高级参数输入按钮，根据实际业务要求，以 Key\Value 形式，在编辑框中输入离线任务所需的高级参数。支持参数详见高级参数。

2. 实时增量同步
   设置解决方案中实时增量任务的运行参数情况。
   其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

   配置项	说明
   *实时集成任务资源组	下拉选择 DataLeap 项目控制台中已绑定的独享数据集成资源组，选择的资源组，需要确保能与源端、目标端数据源连通，您可单击右侧的连通性测试按钮，进入测试窗口，单击连通性测试按钮，测试选择的资源组是否可以和两侧数据源连通成功。
   *资源设置	可通过自定义和默认两种设置方式，进行实时任务运行资源的设定，如单TaskManager CPU数量、单TaskManager内存大小、JobManager CPU数量等。 说明 默认设置中，各运行资源设置如下： 单 TaskManager CPU 数：2 单 TaskManager 内存：4096 MB 单 TaskManager slot 数：4 JobManager CPU 数：1 JobManager 内存：2048 MB
   集成高级参数设置	打开高级参数输入按钮，根据实际业务要求，以 Key\Value 形式，在编辑框中输入实时任务所需的高级参数。支持参数详见高级参数。
   Flink 运行参数设置	支持输入 Flink 相关的动态参数和执行参数，具体参数设置详见 Flink 官方文档。

3. 调度设置
   选择全量离线任务运行时所使用的调度资源组，主要用来支持离线全量任务执行时，将任务下发分配至独享数据集成资源组中运行，即离线集成任务需调度资源组和独享数据集成资源组来共同承载任务的运行。
   目前调度资源组仅支持选择公共调度资源组。

4. 提交方案
   方案运行配置完成后，单击右下角提交方案按钮，进行方案的提交，在弹窗中，勾选方案立即执行，并单击确定按钮，完成实时数据同步解决方案的创建。

4 执行详情查看

方案创建完成后，进入到方案列表界面，便可查看方案的执行概况。

1. 单击运维操作列的执行详情按钮，进入解决方案执行详情界面：

   

2. 在执行详情界面，等待所有步骤执行完成，您可根据步骤完成情况，查看各个步骤的执行详情：

   1. 您可在“一次性全量批任务启动”步骤执行详情中，查看批式任务的运维与执行日志情况。批式任务运维操作详见离线任务运维。

      

   2. 在“增量流任务启动”步骤详情中，查看增量流式任务的运维、执行日志和 Application Url 等任务详情。

      

   3. 单击更多 > Application Url 按钮，进入查看增量流式任务的执行详情，您可在该界面中看到实时同步成功数据量、失败数据量、数据量大小等详情。

      

5 数据验证

一次性全量批任务和增量流任务执行成功后，您可前往 ByteHouse云数仓版目的端数据库中，验证数据的实时接收情况。

1. 前往 ByteHouse 控制台 ，进入 SQL 工作表页签，详见 SQL工作表 使用说明。

2. 在 SQL 编辑器窗口中，选择可运行的 ByteHouse 云数仓版计算组。

3. 执行以下语句，查询对应表数据进行验证：

   SELECT * from `dts_test`.`datasail_pg_demo_four10`;
   

   

6 监控报警配置

数据验证无误后，您可以对已创建的任务进行管理，如同步方案的编辑、重启、暂停、添加任务监控等操作。
DataSail 实时任务报警设置最佳实践