使用场景
将指定Hive表中的数据通过写SQL或者数据表同步的方式同步到指定Mongo表中。
注意事项
- Mongo数据源可在“数据源管理”中进行配置。
- 对于清除式写入,Mongo表需要有分区键(类型可参考页面“分区格式”说明),用来标识每天的分区。
- 对于覆盖式写入,需要填写索引用来覆盖时使用。
新建任务
- 在任务开发首页,点击“新建任务”
- 在项目下,左侧目录结构中,右键新建任务

任务设置

数据源信息
- 同步方式:代码同步或数据表同步
- 数据库:hive所在的数据库
- 数据表:hive目标表
- 分区:分区字段从hive表自动获取
- 天级分区,若日期格式为:yyyyMMdd 如:20181017,则填写:${date}
- 天级分区,若日期格式为:yyyy-MM-dd 如:2018-11-17,则填写:${DATE}
- 数据同步:数据同步天数,使用静态分区同步
- 数据写入方式:区分清除式写入/覆盖式写入
目标信息
- 数据库:数据源所属的仓库名;
- 集合名:选择Mongo的集合;
- 分区键:当数据写入方式为清除式写入时,输入数据表的分区键;
- 分区字段格式:选择分区字段格式‘
- 唯一索引:放数据写入方式为覆盖式写入时,输入唯一索引。
字段信息
字段映射在选好数据来源和目标后,自动填充,来源于hive表结构,可调整映射顺序。