[Hadoop实验]2.分布式集群环境搭建

小知识,大挑战!本文正在参与“程序员必备小知识”创作活动

一、前言

Hadoop的计算运行依赖于机器集群实现,本文将通过在局域网内构建一个三个机器组成的集群,简要描述Hadoop的分布式集群环境搭建过程。

二、网络设置

image.png

将虚拟机的网络模式改为桥接模式

image.png

打开菜单栏下 编辑-虚拟网络编辑器,将桥接的外部网络调为当前网卡使用的网络。

image.png

按照物理机的IP字段,使用sudo vim /etc/network/interfaces对配置文件进行修改,分配与静态IP。

image.png

使用sudo vim /etc/systemd/resolved.conf修改DNS设置。

image.png

上述步骤完成后输入sudo /etc/init.d/networking restart重启网络服务

image.png

image.png

若主机ping通虚拟机,虚拟机ping通百度,可以正常上网,则网络配置正确。

三、分布式集群搭建

机器克隆

image.png

打开 菜单栏->虚拟机-管理-克隆。

image.png

按照指引,克隆两台与原虚拟机完全一致的子虚拟机模拟三台分布式主机(主要是为了使配置的Linux环境在各机器内保持一致)。

差异化

image.png

打开克隆的虚拟机,同上修改静态IP地址,IP尾部字段有区别,可以选择一段连续的IP地址,方便书写记忆。(这里要注意,设置的IP不能和网段内的其他设备重复)

image.png

使用sudo vim /etc/hostname永久修改机器名,为两台克隆机机器名分别加入_clone1_clone2的后缀。

然后再三台机器上添加相同的映射(sudo vim /etc/hosts):

image.png

(我使用的三台机器IP为192.168.123.250~252)

SSH配置

主机之间需要通过SSH进行通信,要实现双向登录,就需要将公钥复制到对方机器用户目录下,并复制到authorized_keys中。(详情见上篇文章)

image.png

首先要为克隆机独自生成一对公钥和私钥

三台机器之间的文件传输可以通过ftp、scp或直接通过可视化窗口实现,这里就不再介绍了(方法见上篇文章)。

image.png

这里使用cat ** >> authorized_keys可以较为方便的实现公钥追加到authorized_keys文件下。

猜你喜欢

转载自juejin.im/post/7016330363827912734
今日推荐