CentOS7_Minimal搭建Hadoop

一、安装虚拟机

1、下载任何版本的虚拟机并安装在PC端上

2、需要下载CentOS7_minimal版本的安装包

3、准备JDK和Hadoop安装包

二、配置CentOS7网络环境

CentOS7的静态ip设置与以前版本的Linux有细微的差别,这也是需要注意的地方。作者 为了配置 有效的静态ip,尝试了很多的方法。

1、虚拟机的设置

选择虚拟机的编辑选项----->虚拟网络编辑器(管理员模式打开)

在上图中已经标注出需要注意的地方,同时需要查看NAT设置

设置网关IP与你设置的子网IP一致,在端口转发中可以添加转发类型(TCP/UDP),端口转发主要是为了方便其他网段的PC短访问主机。

2、CentOS7网络环境设置

(一)、修改主机名:vi/etc/sysconfig/network,将主机名修改为master

(二)、配置静态IP地址

输入命令:vi /etc/sysconfig/network-scripts/ifcfg-ensxxxx(xxxx表示每台主机的网络配置文件)

图中表示出来的地方是需要修改和添加的内容,IP地址和网关和你虚拟机设置的子网一致,同时添加DNS服务器的IP地址。

很多文章关于CentOS7配置静态IP的方法就到此为止,任何就重启网络服务,会发现不能ping通外网地址,这需要对其DNS服务器进行配置。

输入命令:vi /etc/resolv.conf 添加DNS服务器的IP地址

 

(三)、修改IP地址和主机名的映射关系

输入命令:vi /etc/hosts,配置如下图

(四)、关闭防火墙

查看防火墙:firewall-cmd --state

停止防火墙:systemctl stop firewalld.service

禁止防火墙开机自启:systemctl disable firewalld.service

关闭selinux:vi /etc/selinux/config,修改如下图

(五)、重启network服务

service network restart

(六)、检查是否成功配置网络:ping www.baidu.com

 

(七)、克隆主机

(1)、分别修改主机名为slave01和slave02:vi /etc/sysconfig/network

(2)、修改主机的IP地址与(三)中的IP地址映射关系一致

(3)、测试网络环境:在master主机上ping slave01和ping slave02

三、配置ssh免密登陆

(一)、master主机上生成密钥:ssh-keygen,全部回车键

(二)、master密钥拷贝到其他主机的授权列表文件authorized-keys中:ssh-copy-id slave01\ssh-copy-id slave02,同时需要在本机配置相同的免密:ssh-copy-id master

(三)、测试:ssh slave01\ssh slave02

四、宿主机所在局域网内的其他主机访问虚拟机

1、在NAT设置中添加规则

2、宿主机配置

(1)、共享VMnet8

win键+R 输入control 打开控制面板--->所有控制面板项----->网络连接

打开本地连接的属性,配置方式如下

(2)、宿主机防火墙入站规则设置

win键+R 输入control 打开控制面板---->(系统安全)----->windows防火墙 ------>高级设置----->入站规则

鼠标右键选择新建规则,然后选择端口,接着选择特定本地端口(输入你在NAT设置中端口转发的主机端口)设置完成后,宿主机所在的局域网内的其他主机就能访问虚拟机咯。

五、JDK安装

(一)、JDK上传(需要开启master主机的ssh服务,使用远程登陆工具,例如Secure Shell Client、Xshell、PuTTY、WInSCP等等)

1、安装ssh:yum install openssh-server

2、配置ssh_config(vi /etc/ssh/ssh_config)

3、yum install lrzsz -y(文件上传和下载工具)

4、rz jdk安装包

5、解压jdk安装包:tar -zxvf jdk-80191-linux-x64.tar.gz

6、配置环境变量:vi /etc/profile,添加下图的内容,注意:JAVA_HOME和JRE_HOME为jdk安装的位置,然后source /etc/profile 使配置生效

7、输入 Java -version 检查是否成功

8、拷贝JDK和profile到slave01和slave02主机上

(1)、拷贝JDK:

                scp - r /hadoop/ jdk1.8.0_191 /root@slave01:/hadoop/jdk1.8.0_191/

                scp - r /hadoop/ jdk1.8.0_191 /root@slave02:/hadoop/jdk1.8.0_191/

(2)、拷贝profile:

                           scp -r /etc/profile  /root@slave01/etc/

                           scp -r /etc/profile  /root@slave01/etc/

(3)、生效profile:source /etc/profile

(4)、测试:java -version

六、Hadoop安装部署

参考:https://blog.csdn.net/qq_41684957/article/details/81946128

1、上传Hadoop安装包:rz hadoop-3.1.1.tar,gz

2、解压hadoop安装包:tar -zxvf hadoop-3.1.1.tar.gz

3、进入hadoop目录:安装路径/etc/hadoop

4、修改环境变量:vi /etc/profile,添加图中以下内容,并重新启动 source /etc/profile

5、修改hadoop-env.sh,配置java jdk路径(JDK、Hadoop的安装路径,同时添加其他内容如下图)

6、修改core-site.xml文件(tmp需要手动创建,放在hadoop总文件夹中)

7、修改hdfs-site.xml文件(name和data需要手动创建,放在hadoop总文件夹中)

8、修改mapred-site.xml文件,需要先拷贝mapred-site.xml.template并重新命名为mapred-site.xml,然后在进行修改。

9、修改yarn-site.xml文件

10、编辑 workers

11、将hadoop的文件拷贝分发到其他主机

scp -r /hadoop/hadoop-3.1.1 root@slave01:/hadoop/hadoop-3.1.1

scp -r /hadoop/hadoop-3.1.1 root@slave02:/hadoop/hadoop-3.1.1

11、初始化hadoop: ./hdfs namenode -format或./hadoop namenode -format

 

 

 

猜你喜欢

转载自blog.csdn.net/williananjhon/article/details/83691157
今日推荐