You need to enable JavaScript to run this app.
导航
3.3.6 Hive-PostgreSQL
最近更新时间:2022.09.05 11:25:31首次发布时间:2022.09.05 11:25:31
我的收藏
有用
有用
无用
无用

使用场景

将Hive数据导入到PostgerSQL表中,供离线分析使用。

注意事项

如果未找到PostgerSQL数据源信息,请在数据源管理中配置对应的PostgerSQL数据源。

新建任务

  1. 在任务开发首页,点击“新建任务”
  2. 在项目下,左侧目录结构中新建任务
    alt

任务设置

alt

数据源信息

  1. 同步方式:sql同步或数据表同步
  2. 数据库:hive所在的数据库
  3. 数据表:hive目标表
  4. 分区:分区字段从hive表自动获取
    1. 天级分区,若日期格式为:yyyyMMdd 如:20181017,则填写:${date}
    2. 天级分区,若日期格式为:yyyy-MM-dd 如:2018-11-17,则填写:${DATE}
  5. 数据同步:数据同步天数,使用静态分区同步
  6. 数据写入方式:区分清除式写入/覆盖式写入

目标信息

  1. 数据源来源:分为自定义数据源和CDC数据源
  2. 数据源名称:数据源管理中注册的数据源
  3. 数据库:数据源所属的仓库名;
  4. Schema目录:选择pg的schema目录
  5. 数据表:数据源所属的表名;
  6. 主键:选择数据表的主键
  7. 一级分区设置:设置分区的字段和格式
  8. 数据保存时间:历史数据的保留时间,0代表永久

字段信息

字段映射在选好数据来源和目标后,自动填充,来源于hive表结构与PostgreSQL表结构,可调整映射顺序。

任务调试

点击调试按钮,选择业务日期进行调试,调试结果/日志可在页面查看
alt

通用设置

数据处理高级参数设置、调度设置等详见通用设置说明