说明:
版本:sqoop-1.4.7 + CentOS 7 + Hadoop 2.6 + Java 8 + VMware 15 + putty + win 10
系列:
一,安装sqoop
1,解压sqoop
进入存放 sqoop 的目录
[hadoop@master ~]$ cd /mnt/hgfs/share/Application
解压 sqoop 到目录 /usr/local
[hadoop@master Application]$ sudo tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local
进入目录 /usr/local,查看
[hadoop@master Application]$ cd /usr/local/
[hadoop@master local]$ ll
将当前目录中的 sqoop-1.4.7.bin__hadoop-2.6.0 重命名为 sqoop
[hadoop@master local]$ sudo mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
修改文件夹 sqoop 的所属用户和用户组
[hadoop@master local]$ sudo chown -R hadoop:hadoop sqoop
2,配置用户环境变量
[hadoop@master local]$ vi ~/.bashrc
用户环境文件添加以下部分
# sqoop Environment Variables export SQOOP_HOME=/usr/local/sqoop export PATH=$PATH:$SQOOP_HOME/bin
立即更新环境变量
[hadoop@master local]$ source ~/.bashrc
3,修改 sqoop 配置文件
sqoop 的配置文件的目录为 /usr/local/sqoop/conf
进入配置文件目录,修改配置文件
[hadoop@master local]$ cd /usr/local/sqoop/conf
将 sqoop-env-template.sh 重命名为 sqoop-env.sh
[hadoop@master conf]$ mv sqoop-env-template.sh sqoop-env.sh
修改 sqoop-env.sh
[hadoop@master conf]$ vi sqoop-env.sh
配置自己集群的 hadoop,hbase,hive 目录
export HADOOP_COMMON_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=/usr/local/hadoop export HBASE_HOME=/usr/local/hbase export HIVE_HOME=/usr/local/hive
4,添加 mysql 的 jdbc 驱动包
进入存放 jdbc 驱动包的目录
[hadoop@master local]$ cd /mnt/hgfs/share/Application
复制 jdbc 驱动包到 sqoop 的 lib 目录
[hadoop@master Application]$ cp mysql-connector-java-5.1.47.jar $SQOOP_HOME/lib/
5,检查 sqoop
[hadoop@master lib]$ cd $SQOOP_HOME/bin [hadoop@master bin]$ sqoop-version ... ... ... 20/05/26 10:27:19 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 Sqoop 1.4.7 git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8 Compiled by maugli on Thu Dec 21 15:59:58 STD 2017
6,连接 mysql 测试
这里账号和密码都是root,自行更换自己的账号密码
sqoop-list-databases --connect jdbc:mysql://localhost:3306 --username root --password root sqoop-list-tables --connect jdbc:mysql://localhost:3306/mysql --username root --password root
相关/转载: