sqoop1.4.5的安装

1.下载安装包及解压
    sqoop-1.4.5.bin__hadoop-1.0.0.tar.gz
 
2.配置环境变量和配置文件
cd %SQOOP_HOME%
cp conf/sqoop-env-template.sh /conf/sqoop-env.sh
在sqoop-env.sh中添加如下代码:
export HADOOP_COMMON_HOME=/home/hadoop/hadoop 
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop 
export HBASE_HOME=/home/hadoop/hbase 
export HIVE_HOME=/home/hadoop/hive 
export ZOOCFGDIR=/home/hadoop/zookeeper
(如果数据读取不设计hbase和hive,那么相关hbase和hive的配置可以不加,如果集群有独立的zookeeper集群,那么配置zookeeper,反之,不用配置)。
 

3.copy需要的lib包到Sqoop/lib

所需的包:hadoop-core包、mysql的jdbc包(或Oracle的jdbc包等

cp ~/hadoop/hadoop-core-1.0.4.jar ~/sqoop/lib/

cp mysql-connector-java-5.1.18.jar ~/sqoop/lib/

 

4.添加环境变量

gedit /etc/profile

export SQOOP_HOME=/home/hadoop/sqoop-1.4.5.bin__hadoop-1.0.0

export PATH=$SQOOP_HOME/bin:$PATH

export LOGDIR=$SQOOP_HOME/logs

 

5.测试验证

--列出mysql数据库中的所有数据库

sqoop list-databases --connect jdbc:mysql://ubuntu201:3306 --username root --password gxw
 
-- 连接mysql并列出hive数据库中的表
--(命令中的hive为mysql数据库中的hive数据库名称 username password分别为mysql数据库的用户密码)
sqoop list-tables --connect jdbc: mysql:// ubuntu201:3306/hive --username root --password gxw
 
sqoop import --connect jdbc:mysql://host001/test --username root --password szy --table person
 
sqoop import --connect jdbc:mysql://host001/test --username root --password szy --table person -m 1
 
sqoop import --connect jdbc:mysql://host001/test --username root --password szy --table person --direct -m 1
 
sqoop import-all-tables --connect jdbc: mysql://host001/test --username root --password szy  --direct -m 1
 
sqoop export --connect jdbc:mysql://host001/test --username root --password szy --table person --export-dir person
 
sqoop export --connect jdbc:mysql://host001/test --username root --password szy --table animal --export-dir animal
 

猜你喜欢

转载自gaoxianwei.iteye.com/blog/2161113