You need to enable JavaScript to run this app.
导航
3.3.11 Hive-mongo
最近更新时间:2022.09.05 11:25:31首次发布时间:2022.09.05 11:25:31
我的收藏
有用
有用
无用
无用

使用场景

将指定Hive表中的数据通过写SQL或者数据表同步的方式同步到指定Mongo表中。

注意事项

  1. Mongo数据源可在“数据源管理”中进行配置。
  2. 对于清除式写入,Mongo表需要有分区键(类型可参考页面“分区格式”说明),用来标识每天的分区。
  3. 对于覆盖式写入,需要填写索引用来覆盖时使用。

新建任务

  1. 在任务开发首页,点击“新建任务”
  2. 在项目下,左侧目录结构中,右键新建任务
    alt

任务设置

alt

数据源信息

  1. 同步方式:代码同步或数据表同步
  2. 数据库:hive所在的数据库
  3. 数据表:hive目标表
  4. 分区:分区字段从hive表自动获取
    1. 天级分区,若日期格式为:yyyyMMdd 如:20181017,则填写:${date}
    2. 天级分区,若日期格式为:yyyy-MM-dd 如:2018-11-17,则填写:${DATE}
  5. 数据同步:数据同步天数,使用静态分区同步
  6. 数据写入方式:区分清除式写入/覆盖式写入

目标信息

  1. 数据库:数据源所属的仓库名;
  2. 集合名:选择Mongo的集合;
  3. 分区键:当数据写入方式为清除式写入时,输入数据表的分区键;
  4. 分区字段格式:选择分区字段格式‘
  5. 唯一索引:放数据写入方式为覆盖式写入时,输入唯一索引。

字段信息

字段映射在选好数据来源和目标后,自动填充,来源于hive表结构,可调整映射顺序。