Hadoop之mysql安装配置和sqoop安装配置

mysql安装配置

Hive需要管理一些数据，一般我们使用MySQL来存放

在线安装执行命令
sudo apt-get install mysql-server mysql-client

启动停止mysql服务
$sudo start mysql  
$sudo stop mysql  

修改了配置文件后需要重启 mysqld 才能使这些修改生效。

检查 mysqld 进程是否已经开启： 
$pgrep mysqld
如果进程开启，这个命令将会返回该进程的 id 

设置MySQL远程访问

1.取消本地监听
正常情况下，mysql占用的3306端口只是在IP 127.0.0.1上监听，拒绝了其他IP的访问（通过netstat可以查看到）。
取消本地监听需要修改 my.cnf 文件： 
$sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf
//找到如下内容，并注释
#bind-address = 127.0.0.1

2.重启 mysql

完成！

sqoop安装配置

1.下载压缩包   https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.解压，配置环境变量

a、解压
tar –xzf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/  ->解压

b、配置环境变量
vim /etc/profile   ->修改文件，配置环境变量
在文件最后加上下面两行（其中SQOOP_HOME后面的值为你解压的路径）
export SQOOP_HOME=/usr/local/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin
最后再更新环境变量的值  source /etc/profile

c、sqoop-env.sh文件配置
配置$SQOOP_HOME/conf/sqoop-env.sh（如果没有该文件，将sqoop-env-templete.sh重命名为sqoop-env.sh即可）
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/xm/hadoop-2.7.1
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/xm/hadoop-2.7.1

d、因为sqoop是hadoop与关系型数据库之间的数据交换，所以需要使用相关数据的jar包，这儿我们用的是mysql，所以需要下载mysql的链接jar包，然后放在sqoop的家目录下的lib目录下。下载链接：http://www.pennyx.cn:8080/img/mysql-connector-java-5.1.32-bin.jar
wget http://www.pennyx.cn:8080/img/mysql-connector-java-5.1.32-bin.jar ->下载
mv mysql-connector-java-5.1.32-bin.jar /usr/local/sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz/lib/  ->添加jar包

5.安装完成后简单验证（显示所有数据库）
sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password 数据库密码