Elasticsearch 是一个基于 Lucene 的实时分布式的搜索与分析引擎，是当前主流的企业级搜索引擎。Elasticsearch可以快速地、近乎于准实时地存储、查询和分析超大数据集，通常被用来作为构建复杂查询特性和需求强大应用的基础引擎或技术。
DataSail Elasticsearch 数据源，为您提供离线任务读取和写入 Elasticsearch 的双向通道能力。本文为您介绍 DataSail 中 Elasticsearch 的数据源配置、离线任务可视化和脚本模式（DSL）配置能力，实现与不同数据源的数据互通能力。

1 支持的 Elasticsearch 版本

支持 Elasticsearch（ES）标品的 6.X、7.X 和开源 Elasticsearch 8.X 版本。

2 使用限制

1. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员
2. DataSail 目前仅支持离线读、离线写 ES 能力。

3 支持的字段类型

4 数据同步任务开发

4.1 数据源注册

新建数据源操作详见配置数据源，以下为您介绍不同接入方式的 ES 数据源配置相关信息：

• 火山-云搜索服务方式配置

  参数	说明
  基本配置
  数据源类型	Elasticsearch
  接入方式	火山引擎 ES
  数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
  参数配置
  实例 ID	已在火山引擎云搜索服务中创建的 ES 实例名称，下拉可选。 ES 实例创建方式详见创建 ESCloud 实例。
  安全认证	火山-云搜索服务接入方式，默认只支持使用用户名密码方式登录。
  用户名	输入有权限访问 ES 实例中索引数据库的用户名信息。
  密码	输入用户名对应的密码信息。

• 连接串方式配置

  参数	说明
  基本配置
  数据源类型	Elasticsearch
  接入方式	连接串
  数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
  参数配置
  连接协议	支持选择 HTTP 或 HTTPS 连接协议。
  EndPoint	集群访问地址，以主机名:端口的形式填写，多个请用逗号分隔，如：localhost:2181,localhost:2181
  安全认证	支持使用用户名密码或匿名方式登录，其中匿名方式无需填写下方的用户名和密码信息。
  用户名	输入有权限访问 ES 实例中索引数据库的用户名信息。
  密码	输入用户名对应的密码信息。

4.2 新建离线任务

ES 数据源测试连通性成功后，进入到数据开发界面，开始新建 ES 相关通道任务。
新建任务方式详见离线数据同步。

4.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 ES 批式读或 ES 批式写等通道任务。

4.3.1 ES 批式读

数据来源选择 Elasticsearch，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.2 ES 批式写

数据目标端选择 ES，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.3 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。

字段映射支持选择基础模式和转换模式配置映射：

• 转换模式：
  字段映射支持数据转换，您可根据实际业务需求进行配置，将源端采集的数据，事先通过数据转换后，以指定格式输入到目标端数据库中。
  转换模式详细操作说明详见4.1 转换模式
  在转换模式中，你可依次配置：来源节点、数据转换、目标节点信息：

  配置节点	说明
  来源节点	配置数据来源 Source 节点信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据来源字段信息。 配置完成后，单击确认按钮，完成来源节点配置。
  数据转换	单击数据转换右侧添加按钮，选择 SQL 转换方式，配置转换信息和规则： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 SQL 脚本：输入 SQL 脚本转换规则，目前仅支持添加一个转换的 SQL 语句，且不能包括 “;”。 配置完成后，单击确认按钮，完成数据转换节点配置。SQL 脚本示例详见4.1.2 添加转换节点。
  目标节点	配置目标节点 Sink 信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据目标字段信息。 配置完成后，单击确认按钮，完成目标节点配置。

• 基础模式：

  您可通过以下三种方式操作字段映射关系：

  • 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
  • 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。
  • 同名映射：目标表字段，可通过源端字段同名映射的方式，填充目标表字段信息。
  • 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

4.4 DSL 配置说明

ES 数据源支持使用 DSL 的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 ES Reader 和 ES Writer 参数脚本代码，来运行数据集成任务。

4.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

4.4.2 Elasticsearch Reader

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，Elasticsearch Reader 脚本示例如下：

// **************************************
// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        "type": "es",
        "datasource_id": {datasource_id},
        "parameter": {
            "columns": [
                {
                    "name": "name_sample",
                    "type": "type_sample"
                }
            ],
            "es_index": "es_index_sample",
            "es_doc_type": "_doc",
            "query":"query_temp",
            "batch_size":100,
            "scroll_keep_alive":600
        }
    },
    "writer": {
        ···
    },
    "common": {
       ···
    }
}

Reader 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

4.4.3 Elasticsearch Writer

根据实际情况替换 Elasticsearch Writer 相应参数，脚本示例如下：

{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        ...
    },
    "writer": {
        "type": "es",
        "datasource_id": {datasource_id},
        "parameter": {
            "bulk_max_actions":1000,
            "is_cleanup_index":false,
            "columns":[
                {
                    "upperCaseName":"ID",
                    "name":"id",
                    "type":"text"
                },
                {
                    "upperCaseName":"NAME",
                    "name":"name",
                    "type":"text"
                },
                {
                    "upperCaseName":"ADDRESS",
                    "name":"address",
                    "type":"text"
                }
            ],
            "is_dynamic_mapping":true,
            "es_doc_type":"_doc",
            "es_index":"es_test1_liuxu",
            "es_id_fields":"id",
            "es_upsert":false
        }
    },
    "common": {
        ...
    }
}

Writer 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：