hadoop的安装及配置(Hadoop学习笔记)

1. 重命名计算机为master
   $> hostnamectl set-hostname master
   
2. 设置计算机ip在网络上的名称
   $> vi /etc/hosts
   

#hosts :

#自己linux的ip地址 主机名
192.168.56.100 master

测试：
ping 192.168.56.100
ping master
注意：如果在windows系统上ping通master，需要修改windows的hosts文件
3. 关闭防火墙，并且要关闭防火墙的开机自启动。
$> systemctl stop firewalld --> 关闭防火墙

$> systemctl disable firewalld.service --> 关掉防火墙的开机自启动。

4. 上传两个文件
4.1 在centos主目录(/home/centos/)创建一个文件夹soft，用来存放安装包以及安装文件
-> $> su centos --> 切换到centos用户
$> cd ~ --> 进入/home/centos/目录
$> mkdir soft --> 创建soft
4.2 使用sftp将jdk1.8.0.rpm linux版 和hadoop2.7.3.tar.gz上传 ~/soft目录下

5.修改安装文件权限、用户组、用户
发现上传的文件在root用户、root组下面。

-rwx-r–r-- centos centos
修改用户与组到centos用户、centos组下：
修改用户及用户组
$>sudo chown centos:centos jdk1.8.0.rpm
$>sudo chown centos:centos hadoop2.7.3.tar.gz

$>sudo chmod 744 jdk-8u91-linux-x64.rpm
$>sudo chmod 744 hadoop2.7.3.tar.gz
注意： 如果sudo命令不可以使用.
$>su root
$>vi /etc/sudoers
添加
centos ALL=(ALL) ALL
6. 安装java
6.1 解压缩rpm包
$>sudo rpm -ivh jdk1.8.0_linux.rpm
会默认安装在/usr/java/

6.2 配置Java的环境变量
$>sudo vi /etc/profile -->进行环境变量配置

#Java
export JAVA_HOME=/usr/java/jdk1.8.0_91
export PATH= $PATH:$JAVA_HOME/bin: $JAVA_HOME/jre/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


6.3 是/etc/profile立即生效
$> source /etc/profile

6.4 检测Java是否安装配置成功
$> java -version

7. hadoop安装
7.1 解压缩hadoop2.7.3.tar.gz
$> tar -xzvf hadoop2.7.3.tar.gz
7.2 将hadoop的文件夹重命名
$> mv hadoop2.7.3 hadoop
7.3 配置hadoop的环境变量
$> sudo vi /etc/profile

hadoop

export HADOOP_HOME=/home/centos/soft/hadoop
export PATH= $PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

7.4 测试hadoop安装
$> hadoop version

[说明]

配置环境变量的目的，就是可以使我们在任何的目录下都能直接执行相关的命令。
比如start-dfs.sh
start-all.sh
hdfs
hadoop