整数类型

LONG

DATETIME 可以转为 LONG 时间戳

字符串类型

STRING

浮点类型

DOUBLE

布尔类型

BOOLEAN

日期时间类型

DATE

DATETIME 需要转为 LONG 时间戳

列表类型

LIST

支持的元素类型：BOOLEAN，LONG，DOUBLE，INTEGER

键值对类型

MAP

键、值支持的类型：LONG，STRING，DOUBLE，BOOLEAN，DATE

基本配置

*数据源类型

REST_API

*接入方式

目前仅支持公网方式接入。

*数据源名称

数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。

描述

对当前新建数据源的注释说明，方便后续进行管理。

参数配置

*API Url

输入源端 API Url 链接地址。

默认请求头

默认的请求头格式，例如：{"Auxxxxxxxion":"Bearer sext-txxxn-1"}

*验证方式

REST_API 数据源注册时，目前支持以下三种验证方式，您可根据实际场景选择鉴权模式：

• No auth：源端 API 没有开启鉴权方式。
• Basic auth：API 开启了用户名和密码的鉴权方式，需另外填写以下信息：
  • 用户名：输入有数据库权限的账号名称。
  • 密码：输入对应账号的密码信息。
• Token auth：API 开启了 Token 的鉴权方式，您需要输入具体的 Token 信息：
  • Token：输入可以验证通过的 Token 值信息。

*数据源类型

REST_API

*数据源名称

下拉选择已注册成功的 REST_API 数据源。
若还未建立相应数据源，可单击数据源管理按钮，前往创建 REST_API 数据源。

*是否拼接 header

您可按需选择是否在 REST_API 中拼接 header 信息。

*Header 拼接值

当您选择需要拼接 header 时，Header 拼接值为必填项，您可在此输入具体的拼接值信息。
您也可通过依赖上游 shell/python/LAS SQL 任务将其输出结果传递给下游的方式，进行动态传入参数配置，如：{"header1":"{{test_input1}}"}，其中{{test_input1}}即为上游传入的输出结果，可在调度设置 > 任务输入参数中进行配置。
任务输入输出参数操作详见“5.1 将上游任务的执行结果，当做输出参数”。

*请求 Method

请求方法支持 GET 和 POST，两种方式。

请求参数

输入传递给 API 的请求参数信息：

• GET方法：abc=123&def=456
• POST方法：{"abc":123,"def":456}

*返回数据结构

接口返回数据的类型，返回一条数据或者一组数据。

*数据格式

支持 json 的格式。

数据存储 json 路径

输入单条或者数组数据存储的 json path 路径，将会读取您输入 path 路径下的 json 内容。
可为$(表示保存在根路径)，或者类似 aa.bb.cc 的格式。

*预览数据

单击自动获取按钮，便可自动获取并预览展示 API 中的数据，检查数据格式情况。

*请求次数

选择 reader 端是单次请求、多次请求或分页请求，多次/分页请求需要配置参数：

• 多次请求时，需添加以下对应参数：
  • 多次请求对应参数：例如 pagenumber，第一次请求对应 pagernumber=0，步长+Step，最后一次 pagenumber=100。
  • StartIndex：多次请求的起点, 大于等于 0 , 区间左包含。
  • Step：多次请求步长，大于等于1。
  • EndIndex：多次请求的终点, 大于等于 startIndex + step , 区间右包含。
• 分页请求时，需添加以下对应参数：
  • 多次请求对应参数：仅支持设置一个参数，例如 pagenumber，第一次请求对应 pagernumber=0，步长+1，最后一次 pagenumber=100。
  • 单页大小参数：仅支持设置一个单页大小参数名，例如 size。
  • StartIndex：分页请求的起点, 大于等于 0 , 区间左包含。
  • Step：分页请求页大小, 大于等于1。
  • EndIndex：结束页码编号，数据包含该页。
    默认 -1 表示根据返回数据自动判断是否结束，判断方法：(数据页码编号 - 起始页码编号 + 1)*单页数据大小 >= 总数据条数，或者当前页数据条数 < 单页数据大小。
  • 页码字段路径：返回数据页码字段路径，例如data.pagenumber
  • 单页大小字段路径：返回数据单页大小字段路径，返回的单页大小与请求的单页大小不一致时需要填写。例如 data.size，非必填，默认为step
  • 总数据条数字段路径：返回数据总数据条数字段路径，例如 data.total

*type

Reader type 类型，此处默认固定值 restapi

*datasource_id

对应 REST_API 的数据源 ID，暂时不支持，这里请填写 null

*class

RestApi Reader connector type，默认固定值：com.bytedance.bitsail.batch.restapi.RestApiInputFormat

*columns

需要同步的字段名称及其类型信息。

*content_type

数据格式类型，默认填写 JSON 形式。

*url

请求 URL

*params

请求参数

*request_method

api 请求方法，支持 GET/POST

request_times

循环请求次数，支持单次(once)、多次(multiple)、分页(paging)，默认 once

start_index

循环开始的 index

end_index

循环结束的 index

step

循环的步长

json_path

导入的 json 路径，需要是 jsonPath 语法，默认 $

response_structure

api 返回数据结构，支持单条数据(object)/数组数据(array)，默认 object

poll_interval_mills

api 请求限速，默认请求间隔 1000ms

headers

api 请求 header

retry

重试次数,默认 3 次

retry_backoff_multiplier_ms

重试间隔增加的倍数，重试间隔采用 Fibonacci 数列的方式增加重试时间，默认 100ms

retry_backoff_max_ms

最大重试间隔，默认 10000ms

connect_timeout

http 请求超时时间，默认 60000ms

socket_timeout

http 请求 socket 超时时间，默认60000ms