Linux下hadoop的全分布式安装

1.首先在vmware中新建三个系统分别为node1,node2,node3。

2.装好后要先将hostname改为以上三个系统响应的名字,命令:vi  etc/sysconfig/network,将localhost.localdomain这个名字改为node1。node2的系统改为node2,node3依次。

3.修改启动项,由图形界面到命令行界面。命令:cd /etc,然后vi inittab ,将5修改我3

4.用winscp软件将hadoop-1.2.1这个压缩包上传到node1的linux系统下。上传到的目录是root的根目录。

5.在node1下安装jdk,命令:yum -y install java-1.7.0-openjdk*

6.在node1下安装hadoop,命令:tar -zxvf hadoop-1.2.1.tar.gz,解压后由于目录特别长,所以要改一下目录,命令:ln -sf /root/hadoop-1.2.1 /home/hadoop-1.2,然后可以查看home目录,命令:cd /home/,然后会显示这是一个蓝色的超链接,执行命令:ll可以查看。进入到hadoop-1.2,命令:cd hadoop-1.2/,然后进入conf文件,开始修改配置文件。

7.修改core-site.xml文件,修改内容http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

8.修改hdfs-site.xml,修改内容http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

9.修改slaves

10.修改master

11设置免密码登录http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html,两句命令全部执行,就可以本地免密码登录

生成的密码在.ssh/目录下,查看秘钥命令:more id_dsa.pub

12要在4台机器上全部执行上边两条命令。

13进入node1中的.ssh目录,执行命令:scp id_dsa.pub root@node2:~/,将node1的公钥放入node2的~文件夹下,然后在~目录下将其追加的日志文件中去命令:cat id_dsa.pub >> ~/.ssh/authorized_keys,在.ssh这层目录中执行more authorized_keys可以查看现在的秘钥。

14.在node1中执行ssh node2ip就可以看到免密码登录到了node2

15.node3中执行免密码登录的命令。将node1中的公钥拷贝到node3中同13步。

16将目录切换到bin下,命令:cd bin/ ,将node1下的文件全部拷贝到node2,node3上,命令:scp -r ~/hadoop-1.2.1.tar.gz  root@node2IP:~/,切换到node1下的conf文件夹下然后将所有的文件全部拷贝的node2,和node3上。scp ./* root@node2IP:/home/hadoop-1.2/conf/,同理node3页一样,然后在node1上切换到hadoop-1.2中的bin目录下,执行./hadoop namenode -format,格式化

以上就完成了分布式的安装。

启动hadoop

cd /home/hadoop-1.2/

ls

cd bin/

 ./start-dfs.sh启动分布式系统

 注:关闭防火墙的命令  service iptables stop

        重启网卡Service network restart

猜你喜欢

转载自bxfsoftware.iteye.com/blog/2265593