Hadoop2.7.7完全分布式

修改IP地址

cd /etc/sysconfig/network-scripts
vi 第一个文件名或者有字母数字的文件名

修改相应的配置

BOOTPROTO=”static”  #静态获取IP地址
ONBOOT=“yes”   #开机使用本配置
IPADDR=      #IP地址
NETMASK=255.255.255.0 # 网络子掩码
GATEWAY=   #网关
DNS1= 114.114.114.114  #DNS配置

重启网络服务

service network restart

修改主机名做ip映射关系

vi  /etc/hosts

ip是同一局域网下三台机子的ip地址 以及要修改的主机名称
复制两份以下内容传给其他两台虚拟机并重启（下面IP地址按实际操作配置）
172.16.201.10 master
172.16.201.11 slave1
172.16.201.12 slave2
进入各自的hostname修改主机名

vi /etc/hostname
master

重启虚拟机

reboot

免密操作
三台虚拟机的公钥按下面操作
并把三台的公钥都放在一份authorzied_keys中传给其他两台保证三台之间都有各自的公钥
生成公钥

ssh-keygen 

加入到不同的节点中

ssh-copy-id -i .ssh/id_rsa.pub root@wangmaste

#测试是否免密成功

ssh localhost

测试与其他的虚拟机连接

ssh 主机名

安装jdk
查看本机上是否有jdk

rpm  -qa|grep jdk

卸载jdk

 yum remove jdk文件名

解压好jdk、hadoop

tar xf  jdk名  hadoop文件名  -C  安装路径

设置 jdk、hadoop环境变量

#jdk
export  JAVA_HOME=/opt/jdk #jdk安装路径
#hadoop
export  HADOOP_HOME=/opt/Hadoop  #hadoop安装路径
PATH=$PATH:$JAVA_HOME/bin$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置文件生效

source  /etc/profile

进入hadoop配置文件

cd /opt/hadoop/etc/Hadoop

修改hadoop-env.sh文件

vi hadoop-env.sh

找到设置jdk环境变量的语句修改成jdk的安装路径

export JAVA_HOME=/opt/jdk

修改yarn-env.sh文件

vi yarn-env.sh

找到设置jdk环境变量的语句修改成jdk的安装路径

export JAVA_HOME=/opt/jdk

修改core-site.xml文件

vi  core-site.xml

<property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
</property>
<property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/hadoop/tmp</value>
</property>

修改hdfs-site.xml文件

vi hdfs-site.xml

<property>
         <name>dfs.replication</name>
         <value>1</value>
</property>
<property>
           <name>dfs.namenode.secondary.http-address</name>
           <value>master:50090</value>
</property>

修改mapred-site.xml文件
复制mapred-site.xml.template文件并修改文件名mapred-site.xml

cp mapred-site.xml.template  mapred-site.xml
vi mapred-site.xml   

   <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
   </property>

修改yarn-site.xml文件

vi yarn-site.xml     

   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapredue_shuffle</value>
   </property>
   <propety>
      <name>yarn.resourcemanager.hostname</name>
      <value>master</value>
   </property>

修改slaves文件

vi slaves

#加入两个从节点

slave1   #从节点的主机名
slave2   #从节点的主机名

关闭防火墙

systemctl stop firewalld.service

禁止开机启动防火墙

systemctl  disable firewalld.service

复制整个hadoop文件传给其他虚拟机
scp -r hadoop文件夹路径 其他主机名@root:/存放路径
在master虚拟机上格式化

hdfs namenode   -format

启动hadoop

start-all.sh

查看进程

jps

maste主节点有四个进程
其他从节点的虚拟机上有三个进程
达到所说的进程要求hadoop完全分布式配置完成！