CentOS 6.8下安装Hadoop3.1.1完全分布式集群安装
描述：
在四台虚拟机中的Linux机器安装hadoop3.1完全分布式集群。
环境和软件相关：
系统: CentOS 6.8
机器1：主机名-node01；IP-192.168.1.32
机器2：主机名-node02；IP-192.168.1.33
机器3：主机名-node03；IP-192.168.1.34
机器4：主机名-node04；IP-192.168.1.35
JDK版本：JDK1.8
JDK安装包全名：jdk-8u201-linux-x64.tar.gz
Hadoop版本：3.1.1
Hadoop安装包全名：hadoop-3.1.1.tar.gz
一、环境配置
1、修改IP
2、修改hosts文件
vi /etc/hosts
192.168.1.32 note01
192.168.1.33 note02
192.168.1.34 note03
192.168.1.35 note04
3、修改系统参数
vi /etc/selinux/config
将SELINUX修改为下面的值
SELINUX=disabled
4、关闭防火墙
service iptables stop
chkconfig iptables off
5、ssh免秘钥登录
首先在四台机器执行下面的命令
cd ~/.ssh
ssh-keygen -t rsa
ssh-keygen -t dsa
注：需要回车生成公私秘钥
将四台机器的秘钥合并到一个文件夹，在node01执行
cat *.pub >> authorized_keys
ssh node02 cat /root/.ssh/*.pub >> /root/.ssh/authorized_keys
ssh node03 cat /root/.ssh/*.pub >> /root/.ssh/authorized_keys
ssh node04 cat /root/.ssh/*.pub >> /root/.ssh/authorized_keys
更改合并后的文件的权限
chmod 600 authorized_keys
将authorized_keys文件分发给其他节点
scp /root/.ssh/authorized_keys node02:/root/.ssh/
scp /root/.ssh/authorized_keys node03:/root/.ssh/
scp /root/.ssh/authorized_keys node04:/root/.ssh/
第一次免秘钥登录需要输入yes，在各个节点执行
ssh node01 date
ssh node02 date
ssh node03 date
ssh node04 date
二、安装Java1.8
1、检查是否安装有java
rpm -qa|grep java
2、卸载JAVA
如上面1未发现安装有java，可忽略此步；
使用命令：
rpm -e java包名
卸载java，与java有关的全部软件都需要卸载，如遇到卸载不了的，需要强制执行卸载
rpm -e java包名 --nodeps
3、下载jdk软件包(这里下载1.8 Linux 64位的版本)
去官网下载软件包
https://www.oracle.com/technetwork/java/javase/downloads/index.html
4、上传jdk到服务器
这里上传到/tmp目录
5、解压安装包
tar -zxvf /tmp/jdk-8u201-linux-x64.tar.gz
6、移动和配置
将刚解压出来的jdk移动并命名到/usr/share/jdk1.8
mv /tmp/jdk1.8.0_201 /usr/share/jdk1.8
配置:在/etc/profile文件添加以下内容
export JAVA_HOME=/usr/share/jdk1.8
export JRE_HOME=/usr/share/jdk1.8/jre
export CLASSPAT=$JAVA_HOME/lib/
export HADOOP_HOME=/opt/hadoop311/
export PATH=$PATH:$JAVA_HOME/bin/:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin/
使其配置生效
source /etc/profile
7、验证JAVA是否安装
java -version
三、hadoop安装
上传安装包到/tmp路径
解压并移动
tar -zxvf /tmp/hadoop-3.1.1.tar.gz
mv /tmp/hadoop-3.1.1 /opt/hadoop311
配置
修改hadoop-env.sh文件，在文件最后添加内容
cd /opt/hadoop311/etc/hadoop
vi hadoop-env.sh
export JAVA_HOME=/usr/share/jdk1.8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
配置core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9820</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop/full</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
</configuration>
注：note01为主机名；使用3版本默认的9820端口
配置hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02:9868</value>
</property>
</configuration>
配置文件workers
vi workers
note02
note03
note04
格式化文件系统
cd /opt/hadoop311
hdfs namenode -format
当看到有
INFO common.Storage: Storage directory /var/hadoop/peseudo/dfs/name has been successfully formatted.
表示格式化成功！
启动集群
start-dfs.sh
启动后查看进程是否启动
jps
查看端口
ss -nal
在火狐或谷歌浏览器输入地址：192.168.1.31:9870查看hadoop状态
四、测试hadoop
查看内容
hdfs dfs -ls /
创建目录
hdfs dfs -mkdir /temp
上传文件
hdfs dfs -put /tmp/hadoop-3.1.1.tar.gz /temp
查看内容
hdfs dfs -ls /