一、Sqoop简介
Sqoop是一种旨在有效的Hadoop和关系型数据库等结构化数据存储之间传输大量数据的工具。Sqoop的原理就是将导入或者导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要就是对inputformat和OutputFormat进行定制。
二、下载并解压Sqoop
1.下载地址
http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
2.上传安装包到linux中
3.解压安装包
tar -zxvf sqoop-1.4.6bin_hadoop-2.0.4-alpha.tar.gz
4.移动解压后的文件到/usr/local下并改名为sqoop1.4.6
mv sqoop-1.4.6bin_hadoop-2.0.4-alpha /usr/local/sqoop1.4.6
三、修改配置文件
1.进入sqoop目录下的conf文件夹
2.将sqoop-env-template.sh和sqoop-site-template.xml分别重命名为sqoop-env.sh和sqoop-site.xml
mv sqoop-env-template.sh sqoop-env.sh
mv sqoop-site-template.xml sqoop-site.xml
3.修改sqoop-env.sh文件
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export ZOOCFGDIR=/usr/local/zookeeper3.4.8/bin
export ZOOKEEPER_HOME=/usr/local/zookeeper3.4.8
#如果还有HBASE就配置HBASEH_HOME
4.将jdbc的jar包拷贝到sqoop目录下的lib文件夹中(Sqoop会用来用来控制mysql)
5.进入sqoop目录下的bin文件夹运行帮助命令
./sqoop help
配置成功