虚拟机(CentOS6.5)hadoop分布式集群搭建

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/KobeSacre/article/details/102499389

ps:本次三台虚拟机均由克隆而来

1. 修改MAC地址
   1. vim /etc/vim /etc/udev/rules.d/70-persistent-net.rules
   2. 删除name="eth0"一行
   3. 将name="eth1"的name改为name="eth0"之后将该行ATTR(address)复制
   4. vim /etc/sysconfig/network-scripts/ifcfg-eth0
   5. 将IPADDR设置为虚拟IP(eg:192.168.229.201),HWADDR设置为刚才复制的ATTR(address)
2. 修改主机名
   1. vim /etc/sysconfig/network
   2. 修改HOSTNAME=hadoop201(另外两台虚拟机分别为hadoop202,hadoop203)
   3. vim /etc/hosts

   4. 添加如下内容：

      192.168.229.201 hadoop201

      192.168.229.202 hadoop202

      192.168.229.203 hadoop203

   5. 重启

3. 修改 windows系统 的 hosts 文件

   1. 进入C:\Windows\System32\drivers\etc

   2. 打开 hosts 文件并添加如下内容：

      192.168.229.201 hadoop201

      192.168.229.202 hadoop202

      192.168.229.203 hadoop203

4. 关闭防火墙

   1. chkconfig iptables off

5. 创建hadoop用户

   1. adduser hadoop

   2. passwd hadoop

6. 设置hadoop用户具有root权限
   1. vim /etc/sudoers
   2. root    ALL=(ALL)       ALL
      hadoop  ALL=(ALL)       ALL
7. 再/opt目录下创建 module 和 software文件夹并且将这两个文件夹属主与属组改为hadoop
   1. mkdir /opt/module /opt/software
   2. chown hadoop:hadoop module software
8. 安装JDK,hadoop
   1. 安装JDK与之前所述一致
   2. 安装hadoop
      1. 将hadoop安装包导入到 /opt/software文件夹下并将其解压到 /opt/module文件夹下
      2. 进入到 解压后的hadoop文件夹中
      3. pwd将路径进行复制
      4. vim /etc/profile
      5. export HADOOP_HOME=/opt/module/hadoop-2.7.6
         export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
      6. source /etc/profile
      7. 修改/opt 目录下的所有文件所有者为hadoop

         1. # chown hadoop:hadoop -R /opt

      8. (以上所有操作均是用root用户操作,之后切换成hadoop用户)   su hadoop

9. 完成上述操作后 将此台虚拟机克隆出两台命名为hadoop202,hadoop203,并对其同上修改MAC,IP地址,hostname

10. 配置ssh免密码登录(三台主机均如下操作)

    1. cd ~

    2. ssh-keygen -t rsa(三下回车)

    3. ssh-copy-id hadoop201 

    4. ssh-copy-id hadoop202 

    5. ssh-copy-id hadoop203

11. 配置文件

    1. core-site.xml

       1. <!-- 指定HDFS 中 NameNode 的地址 -->

          <property>

          <name>fs.defaultFS</name>

          <value>hdfs://hadoop203:9000</value>

          </property>

          <!-- 指定 hadoop 运行时产生文件的存储目录 -->

          <property>

          <name>hadoop.tmp.dir</name>

          <value>/opt/module/hadoop-2.7.6/data/tmp</value>

          </property>

    2. hadoop-env.sh

       1. export JAVA_HOME=/opt/module/jdk1.8.0_151

    3. hdfs-site.xml

       1. <property>

          <name>dfs.replication</name>

          <value>3</value>

          </property>

          <property>

          <name>dfs.namenode.secondary.http-address</name>

          <value>hadoop202:50090</value><!--secondaryNameNode地址-->

          </property>

    4. slaves

       1. hadoop201

          hadoop202

          hadoop203

    5. yarn-env.sh

       1. export JAVA_HOME=/opt/module/jdk1.8.0_151

    6. yarn-site.xml

       1. <!-- reducer 获取数据的方式 -->

          <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

          </property>

          <!-- 指定 YARN 的 ResourceManager 的地址 -->

          <property>

          <name>yarn.resourcemanager.hostname</name>

          <value>hadoop201</value>

          </property>

    7. mapred-env.sh

       1. export JAVA_HOME=/opt/module/jdk1.8.0_151

    8. mapred-site.xml

       1. <!-- 指定 mr 运行在 yarn 上 -->

          <property>

          <name>mapreduce.framework.name</name>

          <value>yarn</value>

          </property>

12. 运行hadoop

    1. 如果是第一次启动 需要先进行格式化操作

       1. hdfs namenode -format

    2. 启动HDFS

       1. start-dfs.sh

    3. 启动YARN

       1. start-yarn.sh

       2. 注意：Namenode 和 ResourceManger 如果不是同一台机器，不能在 NameNode 上启动 yarn，应该在 ResouceManager 所在的机器上启动yarn

13. 集群时间同步

    1. 时间服务器配置(root用户)

       1. 检查ntp是否安装

          1. rpm -qa|grep ntp

       2. 修改配置文件 vim /etc/ntp.conf

          1. 修改 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap  为

                 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

          2. 修改

             server 0.centos.pool.ntp.org iburst

                 server 1.centos.pool.ntp.org iburst

                 server 2.centos.pool.ntp.org iburst

                 server 3.centos.pool.ntp.org iburst 为

                 #server 0.centos.pool.ntp.org iburst

                 #server 1.centos.pool.ntp.org iburst

                 #server 2.centos.pool.ntp.org iburst

                 #server 3.centos.pool.ntp.org iburst

          3.  

             添加

             server 127.127.1.0

                 fudge 127.127.1.0 stratum 10

       3. 修改/etc/sysconfig/ntpd 文件

          1. vim /etc/sysconfig/ntpd

          2. 添加 SYNC_HWCLOCK=yes

       4. 重新启动 ntpd

          1. service ntpd start

          2. chkconfig ntpd on

    2. 其他机器配置

       1. crontab -e

       2. 编写  */1 * * * * /usr/sbin/ntpdate hadoop101