hadoop搭建六:安装sqoop【施工中】

说明:

版本:sqoop-1.4.7 + CentOS 7 + Hadoop 2.6 + Java 8 + VMware 15 + putty + win 10

系列:

一,安装sqoop

  1,解压sqoop

进入存放 sqoop 的目录

[hadoop@master ~]$ cd /mnt/hgfs/share/Application

解压 sqoop 到目录 /usr/local

[hadoop@master Application]$ sudo tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local

进入目录 /usr/local,查看

[hadoop@master Application]$ cd /usr/local/
[hadoop@master local]$ ll

将当前目录中的 sqoop-1.4.7.bin__hadoop-2.6.0 重命名为 sqoop

[hadoop@master local]$ sudo mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

修改文件夹 sqoop 的所属用户和用户组

[hadoop@master local]$ sudo chown -R hadoop:hadoop sqoop

  2,配置用户环境变量

[hadoop@master local]$ vi ~/.bashrc

用户环境文件添加以下部分

# sqoop Environment Variables
export SQOOP_HOME=/usr/local/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

立即更新环境变量

[hadoop@master local]$ source ~/.bashrc

  3,修改 sqoop 配置文件

sqoop 的配置文件的目录为 /usr/local/sqoop/conf

进入配置文件目录,修改配置文件

[hadoop@master local]$ cd /usr/local/sqoop/conf

将 sqoop-env-template.sh 重命名为 sqoop-env.sh

[hadoop@master conf]$ mv sqoop-env-template.sh sqoop-env.sh

修改 sqoop-env.sh

[hadoop@master conf]$ vi sqoop-env.sh

配置自己集群的 hadoop,hbase,hive 目录

export HADOOP_COMMON_HOME=/usr/local/hadoop

export HADOOP_MAPRED_HOME=/usr/local/hadoop

export HBASE_HOME=/usr/local/hbase

export HIVE_HOME=/usr/local/hive

  4,添加 mysql 的 jdbc 驱动包

 进入存放 jdbc 驱动包的目录

[hadoop@master local]$ cd /mnt/hgfs/share/Application

复制 jdbc 驱动包到 sqoop 的 lib 目录

[hadoop@master Application]$ cp mysql-connector-java-5.1.47.jar $SQOOP_HOME/lib/

   5,检查 sqoop

[hadoop@master lib]$ cd $SQOOP_HOME/bin
[hadoop@master bin]$ sqoop-version
...
...
...
20/05/26 10:27:19 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017

   6,连接 mysql 测试

这里账号和密码都是root,自行更换自己的账号密码

sqoop-list-databases --connect jdbc:mysql://localhost:3306 --username root --password root
sqoop-list-tables --connect jdbc:mysql://localhost:3306/mysql --username root --password root

相关/转载:

1,sqoop知识点总结(全)

猜你喜欢

转载自www.cnblogs.com/ziyaziya/p/12963366.html