StarRocks 数据源，同步火山引擎 E-MapReduce（EMR）引擎中 StarRocks 集群数据库下的数据，为您提供通过离线、流式任务方式，读取和写入 StarRocks 的双向通道能力，实现不同数据源与 StarRocks 之间的进行数据传输。
本文为您介绍 DataSail 中 StarRocks 数据源配置、可视化配置能力说明。

1 支持的版本

支持采集 EMR-3.1.1 及以上 StarRocks 集群和 OLAP 服务中 1.1.0 及以上版本全托管 StarRocks 引擎中的数据。

2 使用前提

1. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员
2. 访问 StarRocks 数据源，需先在项目控制台 ＞ 服务绑定 ＞ 引擎绑定中，绑定相应 StarRocks 集群。详见创建项目。
3. StarRocks 数据源配置时，EMR 集群对应的集群信息、数据库用户名密码需填写正确：

   注意

   填写的数据库用户名信息，必须拥有相应数据库表的读写权限，来保障任务数据能够被正常读取或写入 StarRocks 中。

   • 必须有账户密码，其中 root 账户无密码，不符合安全规范，数据源配置时无法使用。
   • 用户名密码获取方式，您可在 EMR 集群详情 ＞ 服务列表 ＞ StarRocks 服务名称 ＞ 服务参数 ＞ starrocks-env 参数文件下，看到 StarRocks 已经预置了一个账户和密码，您可使用该账户/密码来配置 StarRocks 数据源。
     其余用户创建方式详见 CREATE USER。
     
4. EMR StarRocks 集群和独享集成资源组中的 VPC 必须一致。
   • 其 VPC 下的子网和安全组也尽可能保持一致。
   • 若 VPC 不一致时，需额外进行以下网络打通操作：
     1. 两个不同 VPC 需要通过云企业网或其他专线连接操作，将两个 VPC 做网络打通；
     2. 并在 EMR StarRocks 集群详情界面，进入集群所在的安全组，并添加入方向规则。
        
     3. 在弹窗中，填写独享集成资源组所在 VPC 和子网的 CIDR 网段信息：
        
     4. 安全组入方向规则添加完成后，您需额外通过提工单的方式，将独享集成资源组和 StarRocks 集群的 VPC 中的 CIDR 网段信息，提供给 EMR 技术支持同学，以便进行更细粒度的网络路由配置。

     注意

     当独享集成资源组与 StarRocks 集群处于不同 VPC 时，其网络配置较为复杂，在后续进行资源扩容时，仍需通过 EMR 技术支持来进行路由操作。因此，建议您将独享集成资源组与 StarRocks 集群使用的 VPC 信息保持一致。

3 支持的字段类型与使用限制

支持大部分 StarRocks 类型，包括数值类型、字符串类型、日期类型：

4 数据同步任务开发

下文将为您介绍 StarRocks 数据集成同步任务的配置流程：

4.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍配置 StarRocks 数据源相关信息：

4.2 新建任务

StarRocks 数据源测试连通性成功后，进入到数据开发界面，开始新建 StarRocks 相关通道任务。
新建任务方式详见离线数据同步、流式数据同步。

4.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 StarRocks 批式读写、StarRocks 流式写等通道任务相关参数：

4.3.1 StarRocks 批式读

数据来源选择 StarRocks，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.2 StarRocks 批式写

数据目标端选择 StarRocks，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.3 StarRocks 流式写

流式数据写入 StarRocks 集成任务，数据目标端选择 StarRocks，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 ＊ 的为可选填参数。

4.3.4 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
字段映射支持选择基础模式和转换模式配置映射：

• 转换模式：
  字段映射支持数据转换，您可根据实际业务需求进行配置，将源端采集的数据，事先通过数据转换后，以指定格式输入到目标端数据库中。
  转换模式详细操作说明详见4.1 转换模式
  在转换模式中，你可依次配置：来源节点、数据转换、目标节点信息：

  配置节点	说明
  来源节点	配置数据来源 Source 节点信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据来源字段信息。 配置完成后，单击确认按钮，完成来源节点配置。
  数据转换	单击数据转换右侧添加按钮，选择 SQL 转换方式，配置转换信息和规则： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 SQL 脚本：输入 SQL 脚本转换规则，目前仅支持添加一个转换的 SQL 语句，且不能包括 “;”。 配置完成后，单击确认按钮，完成数据转换节点配置。SQL 脚本示例详见4.1.2 添加转换节点。
  目标节点	配置目标节点 Sink 信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据目标字段信息。 配置完成后，单击确认按钮，完成目标节点配置。

• 基础模式：

  您可通过以下三种方式操作字段映射关系：

  • 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
  • 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。

    说明

    来源端字段信息支持输入数据库函数和常量配置，单击手动添加按钮，在源表字段中输入需添加的值，并选择函数或常量类型，例如：

    • 函数：支持您输入 now()、current_timestamp() 等 StarRocks 数据库支持的函数。
    • 常量：您可自定义输入常量值，'123'、'${DATE}'、'${hour}' 等，输入值两侧需要加上英文单引号，支持结合平台时间变量与常量说明使用。
  • 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

4.4 DSL 配置说明

StarRocks 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 StarRocks Writer 参数脚本代码，来运行数据集成任务。

4.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

4.4.2 StarRocks Writer

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，StarRocks Writer 脚本示例如下：

• 未创建 StarRocks 数据源示例：

  // writer config
      "writer": {
           // [required] datasource type
          "type": "starrocks" ,
          // [optional] datasource id, set it if you have registered datasource
          "datasource_id": null,
          // [required] user parameter
          "parameter": {
               "password":"****************",
               "db_name":"sr_sink_test",
               "columns":[
                  {
                      "upperCaseName":"ID",
                      "name":"id",
                      "type":"BIGINT"
                  },
                  {
                      "upperCaseName":"NAME",
                      "name":"name",
                      "type":"STRING"
                  }
              ],
               "sink_write_mode":"STREAMING_UPSERT",
               "mysql_hosts":"172.16.1.2:9030",
               "fe_hosts":"172.16.1.2:8030",
               "user":"**********",
               "class":"com.bytedance.bitsail.connector.starrocks.sink.StarRocksSink",
               "table_name":"starrocks_sink_table_partation_dy_new",
               "pre_sql_list": ["delete from all_field_small_sink_1 where Id >= 0"],
               "post_sql_list": ["delete from all_field_small_sink_1 where Id >= 0"]
          }
      }
  

• 已创建 StarRocks 数据源示例：

  // writer config
      "writer": {
           // [required] datasource type
          "type": "starrocks" ,
          // [optional] datasource id, set it if you have registered datasource
          "datasource_id": 100,
          // [required] user parameter
          "parameter": {
               "columns":[
                  {
                      "upperCaseName":"ID",
                      "name":"id",
                      "type":"BIGINT"
                  },
                  {
                      "upperCaseName":"NAME",
                      "name":"name",
                      "type":"STRING"
                  }
              ],
               "sink_write_mode":"STREAMING_UPSERT",
               "class":"com.bytedance.bitsail.connector.starrocks.sink.StarRocksSink",
               "table_name":"starrocks_sink_table_partation_dy_new",
               "pre_sql_list": ["delete from all_field_small_sink_1 where Id >= 0"],
               "post_sql_list": ["delete from all_field_small_sink_1 where Id >= 0"]
          }
      }
  

• Writer 参数说明，其中参数名称前带＊的为必填参数，名称前未带＊的为可选填参数：

  参数名	参数说明
  *type	数据源类型，对于 StarRocks 类型，填写：starrocks
  *datasource_id	填写注册的 StarRocks 数据源 ID。可以在项目控制台 ＞ 数据源管理界面中查找。 目前 DSL 模式默认推荐不填写数据源 ID，这里可填写 null。 若通过数据源 ID 方式配置，下方的 user、password、db_name、mysql_hosts、fe_hosts 参数可不输入。
  *user	输入登录 StarRocks 集群数据库的用户名信息。
  *password	登录 StarRocks 数据库用户名对应的密码。
  *db_name	输入需要数据写入的 StarRocks 数据库名称。
  *table_name	填写数据源下所需数据写入的表名。
  *class	starrocks writer connector type，默认固定值： com.bytedance.bitsail.connector.starrocks.sink.StarRocksSink
  *columns	所配置的表中需要同步的列名集合，使用 JSON 的数组描述字段信息。 支持列裁剪：列可以挑选部分列进行导出。 支持列换序：列可以不按照表 Schema 信息顺序进行导出。 支持函数、常量形式添加列： 函数：StarRocks Reader 支持您输入 now()、current_timestamp() 等 StarRocks 数据库支持的函数。 常量：StarRocks Reader 支持您自定义输入常量值，如 '123'、'${DATE}'、'${hour}' 等，输入值两侧需要加上英文单引号，支持结合时间变量参数使用。
  *sink_write_mode	输入数据写入 StarRocks 的方式，当前仅支持 streaming_upsert 方式写入，参数值：STREAMING_UPSERT。
  *mysql_hosts	StarRocks 集群支持的 jdbc 节点信息，您可进入 EMR 控制台 ＞ StarRocks 集群详情 ＞ StarRocks 服务部署拓扑 ＞ Fe 组件界面，获取 Fe ip 信息，端口号通常默认为 9030。
  *fe_hosts	StarRocks 集群 Fe 节点信息，您可进入 EMR 控制台 ＞ StarRocks 集群详情 ＞ StarRocks 服务部署拓扑 ＞ Fe 组件界面，获取 Fe ip 信息，端口号通常默认为 8030。
  pre_sql_list	写入前准备语句：在执行数据集成任务前，率先执行的 SQL 语句。此语句通常是为了使任务重跑时支持幂等。 例如您可以通过填写写入前准备语句，清空表中的某些旧数据，清空完成后，再执行集成任务写入新的数据。如清空表中 p1,p2 分区：TRUNCATE TABLE table_name PARTITION(p1, p2); 说明 DSL 模式支持配置多条写入前准备语句，多条语句之间用英文逗号分隔。
  post_sql_list	写入后准备语句：执行数据同步任务后执行的 SQL 语句。例如数据写入完成后，插入某条特殊的数据，标志导入任务执行结束。 说明 DSL 模式支持配置多条写入后准备语句，多条语句之间用英文逗号分隔。

4.5 高级参数说明

4.5.1 高级参数配置方式

• 对于通道任务，读参数需要加上 job.reader. 前缀，写参数需要加上 job.writer. 前缀，如下图所示：
  
• 对于 DSL 任务，读参数请配置到 reader.parameter 下，写参数请配置到 writer.parameter 下，直接输入参数名称和参数值。如下图所示：
  

4.5.2 StarRocks 批式写

批式写支持以下高级参数，您可根据实际情况进行配置：