-----------------------------------------------------------------
Sqoop原理
将导入或导出命令翻译成mapreduce程序来实现。
-----------------------------------------------------------------
Sqoop安装
前提:安装Sqoop的前提是已经具备Java和Hadoop的环境。
1.下载解压
1) 最新版下载地址:
https://mirrors.tuna.tsinghua.edu.cn/apache
2) 上传安装包sqoop-1.99.7-bin-hadoop200.tar.gz到虚拟机中,如我的上传目录是:/home/centos/Downloads
3) 解压sqoop安装包到指定目录,如:
tar -zxvd /home/centos/Downloads/sqoop-1.99.7-bin-hadoop200.tar.gz -C /soft
cd /soft
ln -s sqoop-1.99.7-bin-hadoop200 sqoop
-----------------------------------------------------------------
2.修改配置文件
Sqoop的配置文件与大多数大数据框架类似,在sqoop根目录下的conf目录中。
1) 重命名配置文件
$ mv sqoop-env-template.sh sqoop-env.sh
$ mv sqoop-site-template.xml sqoop-site.xml
2) 修改配置文件
sqoop-env.sh
export HADOOP_COMMON_HOME=/soft/hadoop
export HADOOP_MAPRED_HOME=/soft/hadoop
export HIVE_HOME=/soft/hive
export ZOOKEEPER_HOME=/soft/zookeeper
export ZOOCFGDIR=/soft/zookeeper/conf
-----------------------------------------------------------------
3.拷贝JDBC驱动
拷贝jdbc驱动到sqoop的lib目录下,如:
$ cp -a mysql-connector-java-5.1.27-bin.jar /soft/sqoop/lib/
-----------------------------------------------------------------
4.验证Sqoop
我们可以通过某一个command来验证sqoop配置是否正确:
$ bin/sqoop help
-----------------------------------------------------------------
5.测试Sqoop是否能够成功连接数据库
$ bin/sqoop list-databases --connect jdbc:mysql://s101:3306/ --username root --password 123456
出现如下输出:
information_schema
metastore
mysql
performance_schema