centos7搭建hadoop集群和配置eclipse

一.目的:

1.搭建hadoop集群,集群中有3台机器,让它们在一个环回网络中,分别是:

192.168.1.2 master

192.168.1.3 slave1

192.168.1.4 slave2

2.其中master是主机,slave1和slave2是活动节点,实现免密码互通。

3.在master中安装eclipse,在eclips中配置hadoop。

二.搭建步骤:

1.安装VM,这个网上有许多教程,就不在这里浪费时间了。

2.下载centos7的镜像,在官网上下载就行了。

3.安装centos7,注意在选择SOFTWARE(软件)时选择带图形化界面的推荐选择KDE版本。

4.在下图中只用设置管理员密码就行,当然如果你想设置普通用户就点USER就行,但是没有root权限,在安装hadoop时会很难受。

5.设置本机网络环回,这个环回适配器相当于一个虚拟的交换机,我们的master、slave1、slave2相当于连在这个虚拟交换机上的电脑。(注意:搭了环回后上不了网,需要在每个虚拟机中再添加一个网卡。)

上图配置完成后再网络适配器中可以看到多了一个本地连接,这个本地连接就是我们刚刚配置的环回适配器

修改这个新的本地连接的IPv4

5.在VM中的选项卡中选择“编辑”,选择“虚拟网络编辑器”,设置VM中的网络。

按照上图配置就行。

同时,我们还要修改的master、slave1、slave2的网络配置,都按照下图设置即可。

6.给master、slave1、slave2配置IP地址

在屏幕上右键,选择konsole进入命令行模式(KDE图形化界面)

键入cd /etc/sysconfig/network-scripts/

键入ls,可以看到如下:

其中ifcfg-ens33就是修改IP的地方

键入vim ifcfg-ens33

上图圈起来的地方就是需要修改的地方。(注意:master中IPADDR=192.168.1.2,slave1中IPADDR=192.168.1.3,slave2中IPADDR=192.168.1.4,其他修改的地方都一样。)

修改完了后必须键入service network restart

显示OK则修改成功。

7.配置master、slave1、slave2的主机名,在这3个虚拟机中分别配置

master中键入hostnamectl set-hostname master

slave1中键入hostnamectl set-hostname slave1

slave2中键入hostnamectl set-hostname slave2

上述设置完后,分别配置hosts列表,注意都要配置。

键入vim /etc/hosts

8.配置免秘钥登录,注意,3个虚拟机都要配置

关闭防火墙systemctl stop firewalld

让防火墙不要开机自启systemctl disable firewalld

在3台机器中都键入ssh-keygen -t rsa

出现下图代表秘钥生成成功

键入cd .ssh

键入ls

可以看到.ssh文件夹下有两个文件,id_rsa与id_rsa.pub,分别是私有与公有秘钥,我们要把公有秘钥复制到一个authorized_keys文件内,这个文件的作用就是完成无密码访问。

在master键入cp id_rsa.pub authorized_keys和chmod 600 authorized_keys

在slave1键入scp -p id_rsa.pub root@master:/root/.ssh/authorized_keys_1

在slave2键入scp -p id_rsa.pub root@master:/root/.ssh/authorized_keys_2

在master中将authorized_keys_1和authorized_keys_1的手动内容复制粘贴到authorized_keys中

在master中键入scp -p id_rsa.pub root@slave1:/root/.ssh/authorized_keys

在master中键入scp -p id_rsa.pub root@slave2:/root/.ssh/authorized_keys

全部配置完了后按下图操作没问题就代表配置成功

9.安装Xshell6和Xftp6,这个网上有很多资源,这两个软件可以更加方便地操作虚拟机。

具体安装就不细说了,通过xftp将jdk1.8.0压缩包和hadoop2.5.2压缩包hadoop-eclipse-plugin-2.5.2.jar上传到虚拟机中。

直接解压缩就行,因为十分简单,并且可以参考的文章很多,我就不详细说了。

10.配置hadoop集群

配置slaves文件

11.jdk和hadoop的配置

键入vim .bash_profile

将JAVA_HOME和HADOOP_HAME和PATH按上图配置好。然后键入source .bash_profile保存配置即可。

12.hadoop启动

格式化文件系统,键入hdfs namenode –format

(记得3个集群都要打开)

按上图所示成功出现网页代表成功。

13.安装eclips和hadoop2.5.2-eclipse-plugin

14.在eclipse上进行配置

然后就完成了。

发布了82 篇原创文章 · 获赞 265 · 访问量 58万+

猜你喜欢

转载自blog.csdn.net/zhiyeegao/article/details/89704529