整数类

LONG

字符串类

STRING

浮点类

DOUBLE

布尔类

BOOLEAN

日期时间类

DATE

基本配置

*数据源类型

OSS

*接入方式

连接串

*数据源名称

数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。

参数配置

*Endpoint

根据具体地域信息，输入 OSS 对外服务的访问域名，详见访问域名。

*OSS 对象存储桶

输入 OSS 对象存储控制台中已创建的 Bucket 名称信息。

Region

OSS 的数据中心所在的地域，可点此查看。

*Access Key ID

进入阿里云管理控制台的 AccessKey ID管理界面，复制 AccessKey ID 填写到此处， 需要此 AccessKey 具备 OSS 的读与写双权限。

*Secret Access Key

与 AccessKey ID 配套使用，类似登录密码，用于签名您的访问参数，以防被篡改。

*数据源类型

下拉选择来源 OSS 数据源类型。

*数据源名称

已在数据源管理中注册成功的 OSS 数据源，下拉可选。
若还未建立相应数据源，可单击数据源管理按钮，前往创建 OSS 数据源。

*文件路径

填写需要采集的 OSS 数据文件所在路径，可在 OSS 中查看。

*示例文件

连带文件路径信息，输入示例文件名称信息，如：test/20240228/oss_demo.csv

*数据类型

支持选择 json、pb、parquet、orc、csv、txt 等几种数据类型：

• Parquet / Orc 类型：字段 Schema 信息，可通过同名映射的方式配置。
• Json 类型：
  数据类型为 json 时，需添加示例数据，以 json 字符串形式描述 schema 信息，需填写完整的 数据。例如：{"uid":123, "ut":12, "user_name": "xxx"}。 若没有示例数据，则 Schema 信息不准确，您需手动添加 Schema 字段映射配置。
• csv、txt 类型：需添加分隔符、原始字符集、导入起始行参数：
  • 分隔符：选择原始文件的分隔符，如“,”、“Tab”、“;”等，下拉可选，同时也支持自定义分隔符的方式指定。
  • 原始字符集：需选择原始文件的字符集，支持选择 GBK、UTF-8 格式。
  • 导入起始行：无表头请填 0，有表头请填 1。
• PB 类型：需填写 Pb 类定义和 Pb 类名信息

  • Pb 类定义：
    输入 Pb 类定义文件信息，只支持一个 Pb 类定义，填写示例如下：

    syntax = "proto2";
    package abase_test;
    message AbaseTest {
    required int64 first_id = 1;
    required int64 latest_id = 2;
    }
    

  • Pb 类名：Pb 类名需填写为 message 名称，例如上方定义的 Pb 类，对应 PB Class 为 AbaseTest