Sqoop跨数据库神器的基本使用

Sqoop简介

开源工具，主要在关系型数据库和非关系型数据库之间传递消息，可以将hadoop数据导入关系型数据库(MySQL等)，也可以把关系型数据导入到HDFS中。
工作原理和hive类似也是把导入或者导出的命令翻译成M-R程序

安装以及配置

直接下载1.4.7解压，配置一个Home

在path下指定home的bin目录，测试

测试连接数据库

首先拷贝jdbc连接工具到sqoop的lib目录下

sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password root

出现如下数据库列表则表示已经成功连接数据库了

案例

把我本地mysql数据库中的一张表导入到HDFS中

sqoop import --connect jdbc:mysql://localhost:3306/canal --username root --password root --table student --target-dir /user/company --delete-target-dir --num-mappers 1 --fields-terminated-by "\t";

导入完成