CentOs6搭建Hadoop1.2.1分布式集群

系统:CentOs6  64位

环境:1台namenode     2台datanode   用户名全是gird

master     192.168.1.103

slave1      192.168.1.104

slave2      192.168.1.107



具体的安装步骤如下:

1、下载jdk1.6以及hadoop1.2.1(去官网下载即可,都是64位)

2、使用filezilla将jdk和hadoop上传至master服务器,jdk上传至slave1服务器和slave2服务器

3、设置host,命令如下:

     vi /etc/sysconfig/network      将HOSTNAME=master

     vi /etc/hosts      设置如下内容:

     192.168.1.103 master
     192.168.1.104 slave1
     192.168.1.107 slave2

     slave1和slave2除了HOSTNAME为slave1和slave2      hosts的配置一样

     可以使用hostname来验证是否已经修改

     使用ping  master/slave1/slave2 来验证是否通讯畅通

4、关闭防火墙

    master、slave1、slave2分别使用root权限关闭防火墙,命令如下:

    service iptables stop

    chkconfig iptables off

5、SSH免密码登录

    master、slave1、slave2分别使用grid用户,在/home/grid下运行ssh-keygen -t rsa

    master服务器使用

    scp id_rsa.pub [email protected]:/home/grid/.ssh/authorized_keys

    scp id_rsa.pub [email protected]:/home/grid/.ssh/authorized_keys

    然后再做免登录直连自己的操作

    将/home/grid/.ssh/id_rsa.pub内容复制到authorized_keys中

    slave1和slave2也做同样的操作

    最后的效果如下:

   

6、使用grid用户在master上安装hadoop,如下图:
  
   
7、安装jdk
   sudo yum install jdk-6u31-linux-amd64.rpm --nogpgcheck
   有提示的话输入"y"
8、进入hadoop安装目录下的conf中,进行一系列的配置,修改的文件有:

     hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves
     1)修改hadoop-env.sh
     
      

     2)修改core-site.xml
    
     

     3)修改hdfs-site.xml
    
     

     4)修改mapred-site.xml
    
     

     5)修改masters
    
    

     6)修改slaves
    
    



9、复制hadoop到slave1和slave2,如下图:
  
  
    

    



10、在master中格式化HDFS,如下图:
  
   



11、启动hadoop,在如下图:hadoop-1.2.1下运行./bin/start-all.sh
  
   



12、验证hadoop是否启动成功:

   

   

   
       



    


总结:在安装的过程中遇到了很多的问题,前前后后弄了1天半,使用不同的用户安装了一次,不成功,然后重新删除系统,使用统一的grid用户进行安装配置,在启动hadoop的时候提示输入“yes”,还以为是没有配置好免密码登录,可是验证没有问题,原来是这样的,第一次启动hadoop的时候提示输入,第二次开始就不会提示了,再有其他的就是在格式化HDFS的时候,忘记切换用户了,结果使用的是root,也导致不能正常启动hadoop。

猜你喜欢

转载自coolwyh.iteye.com/blog/2055836