当前大数据发展越来越快，技术要求也越来越高，岗位需求也越来越多，Hadoop作为大数据技术的基础，会搭建Hadoop大数据平台对于从业人员成为了一个基本的能力，以下介绍两台虚拟机搭建hadoop集群。
（一）基于wmware创建虚拟机并安装Centos7操作系统，作为大数据集群的master节点。
（1）修改网卡配置文件,不同版本的linux的网卡文件名字（ifcfg-ens33）不同，根据实际情况找到网卡文件，修改。
#vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static #修改
ONBOOT=yes #修改
IPADDR=192.168.126.128
NETMASK=255.255.255.0
GATEWAY=192.168.126.2
DNS1=114.114.114.114
DNS2=8.8.8.8
（2）重启网络
#systemctl restart network
（3）查看IP地址
#ip a
用终端工具crt进行连接。
（4）安装及配置JDK
4.1 打开文件传输工具secureFX,把JDK的压缩包jdk-8u231-linux-x64.tar.gz上传到/opt/下。
4.2 创建目录/usr/jdk64
#mkdir /usr/jdk64
4.3 解压JDK的压缩包jdk-8u231-linux-x64.tar.gz到/usr/jdk64
#tar -zxvf /opt/jdk-8u231-linux-x64.tar.gz -C /usr/jdk64
4.4配置环境变量，在最后面添加内容
#vi /etc/profile
export JAVA_HOME=/usr/jdk64/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH
4.5 重新加载/etc/profile
#source /etc/profile
4.6 验证java版本
#java -version
（5）安装及配置hadoop（2.8.5版本）
5.1把hadoop-2.8.5.tar.gz上传到/opt/目录下
5.2解压hadoop-2.8.5.tar.gz到/usr/local/
#tar -zxvf /opt/hadoop-2.8.5.tar.gz -C /usr/local/
5.3修改hadoop的配置文件。
1)core-site.xml 在<configuration>里面添加如下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/log/hadoop/tmp</value>
</property>
2）hadoop-env.sh，把下面的这一行内容的注释#去掉，并修改=后面的值。
export JAVA_HOME=/usr/jdk64/jdk1.8.0_231
3)yarn-env.sh 把下面的这一行内容的注释#去掉，并修改=后面的值。
export JAVA_HOME=/usr/jdk64/jdk1.8.0_231
4)mapred-site.xml 在<configuration>里面添加如下内容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>设置资源调度</description>
</property>
<property>
<name>mapreduce.jobhistroy.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistroy.webapp.address</name>
<value>master:19888</value>
</property>
5）yarn-site.xml 在<configuration>里面添加如下内容
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
6)slaves 把localhost删掉，添加如下内容
master
slave1
7）hdfs-site.xml 在<configuration>里面添加如下内容
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///data/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
(6)在wmware关闭虚拟机。克隆出一台新的虚拟机。
（7）启动克隆出的新的虚拟机，修改网卡配置文件,然后重启网络（在wmware中操作）。
#vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改UUID的最后一个字符，改成不一致即可。
IPADDR=192.168.126.129
#systemctl restart network
（8）启动原来的虚拟机，用终端crt重新连接两台机器。
master（128）节点：
（9）修改主机名
# hostnamectl set-hostname master
# bash
（10）修改配置文件/etc/hosts，添加以下两行内容
# vi /etc/hosts
192.168.126.128 master master.centos.com
192.168.126.129 slave1 slave1.centos.com
(11)通过网络复制的命令scp把/etc/hosts/复制到slave1节点。yes 000000
#scp /etc/hosts root@slave1:/etc/
（12）配置ssh无秘钥登录,三次回车
#ssh-keygen -t rsa
（13）复制秘钥到对应的主机. yes 000000
#ssh-copy-id -i /root/.ssh/id_rsa.pub master
#ssh-copy-id -i /root/.ssh/id_rsa.pub slave1
（14）安装ntpd服务
#yum install ntp -y
(15)配置ntp,注释掉原来的server，在下面添加新的两行内容
#vi /etc/ntp.conf
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 127.127.1.0
fudge 127.127.1.0 stratum 10
（16）启动ntp服务并加入随机启动，关闭防火墙
#systemctl start ntpd
#systemctl enable ntpd
#systemctl stop firewalld
slave1（129）节点：
（17）修改主机名
#hostnamectl set-hostname slave1
#bash
(18)检查一下/etc/hosts文件里面的内容是否已经修改
#cat /etc/hosts
192.168.126.128 master master.centos.com
192.168.126.129 slave1 slave1.centos.com
(19)安装ntpdate服务
#yum install ntpdate -y
(20)同步master节点的时间，如果出错，关闭master的防火墙
#ntpdate master
（21）把ntpdate加入随机启动。
#systemctl enable ntpdate
master（128）节点：
（22）配置环境变量/etc/profile，在JAVA_HOME下面添加HADOOP_HOME,并修改PATH
export JAVA_HOME=/usr/jdk64/jdk1.8.0_231
export HADOOP_HOME=/usr/local/hadoop-2.8.5
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
(23)重新加载/etc/profile
#source /etc/profile
（24）格式化HDFS文件系统
#hdfs namenode -format
(25)启动
#sh /usr/local/hadoop-2.8.5/sbin/start-all.sh
(26)检查启动结果
打开浏览器输入
如果打不开的话，检查防火墙是否运行。
#systemctl status firewalld
#systemctl stop firewalld
