Apache Sqoop 是一款用于在 Hadoop 生态软件和结构化数据存储(例如关系型数据库)之间进行高效的海量数据传输的工具。
sqoop import --connect <dburi>/<dbname> --username <username> --password <password> --query<query-sql> --target-dir <hdfs-dir> --split-by <column>
参数解释:
参数 | 描述 |
---|---|
dburi | 数据库访问链接 |
dbname | 数据库名称 |
username | 数据库用户名 |
password | 数据库密码 |
query-sql | 数据库查询语句 |
hdfs-dir | HDFS 写入目录 |
详细信息请参考Sqoop User Guide
sqoop export --connect <dburi>/<dbname> --username <username> --password <password> --table <tablename> --export-dir <hdfs-dir>
参数解释:
参数 | 描述 |
---|---|
dburi | 数据库访问链接 |
dbname | 数据库名称 |
username | 数据库用户名 |
password | 数据库密码 |
tablename | 数据库表名 |
hdfs-dir | HDFS 目录 |
详细信息请参考Sqoop User Guide
请确认已选择 Hive 服务。
sqoop import --connect <dburi>/<dbname> --username <username> --password <password> --table <tablename> --hive-import --target-dir <hdfs-dir> --hive-table <hive-tablename>
参数解释:
参数 | 描述 |
---|---|
dburi | 数据库访问链接 |
dbname | 数据库名称 |
username | 数据库用户名 |
password | 数据库密码 |
tablename | 数据库表名 |
hdfs-dir | HDFS 目录 |
hive-tablename | Hive 表名 |
详细信息请参考Sqoop User Guide
sqoop export --connect <dburi>/<dbname> --username <username> --password <password> --table <tablename> --export-dir <hdfs-dir>
参数解释:
参数 | 描述 |
---|---|
dburi | 数据库访问链接 |
dbname | 数据库名称 |
username | 数据库用户名 |
password | 数据库密码 |
tablename | 数据库表名 |
hdfs-dir | HDFS 目录 |
详细信息请参考Sqoop User Guide