基于伪分布式hadoop搭建完全分布式

上篇博客中,我们搭建了单机版和伪分布式版的hadoop。但是在真正的开发中都是用的完全分布式hadoop环境。
因此今天我们就来搭建一下完全分布式hadoop环境。
前提:有四台解压了hadoop和javajdk,且其中一台作为namenode需要已经搭建成了伪分布式,其他三台作为datanode,所以这三台还不需要配置环境

完全分布式hadoop

在xshell中右击,最下方有个“发送键输入到所有会话”,点击后可以在一台输入时,当前所有会话都有反应了。
然后开始编辑:

在datanode中

1.vim /etc/profile 将hadoop和java环境配置一下
在这里插入图片描述

在namenode中

2.vim slaves 设置三个datanode的ip
在这里插入图片描述在这里插入图片描述
3.vim /etc/hosts
在这里插入图片描述
4.将这些文件传到datanode上
在这里插入图片描述
使用
scp -r 要传输的内容目录 要穿到的电脑的用户名@要穿到的电脑的ip:要穿到的电脑的位置目录
在这里插入图片描述
将三台都穿好
然后ssh-keygen 生成密钥 直接四个空格
然后 将三个 配置好,这样就可以免密登录了ssh-copy-id datanode的用户名@datanode的ip
和cat id_rsa.pub >> ~/.ssh/authorized_keys 配置namenode的免密

最后在namenode上

使用start-all.sh启动
这时使用jps查看namenode和三个datanode
在namenode中的显示
在这里插入图片描述

在datanode中的显示
在这里插入图片描述
那么这时你的完全分布式就搭建完成啦

猜你喜欢

转载自blog.csdn.net/qq_37113621/article/details/83478217