搭建hadoop集群前期配置工作(一)

搭建hadoop集群前期配置工作(一):

1.安装jdk

2.克隆多台虚拟机

3.更改hostname、hosts

4.关闭防火墙

1.安装jdk

卸载旧的jdk:

检查一下系统中的jdk版本    java -version

检测jdk安装包           rpm -qa | grep java

扫描二维码关注公众号,回复: 3562739 查看本文章

卸载openjdk            yum remove *openjdk*

安装新的jdk:

首先到jdk官网上下载你想要的jdk版本,http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

由于我的Linux是64位的,因此我下载jdk-8u171-linux-x64.tar.gz

创建文件夹export/software,用来放置待解压的软件(把下载好的jdk放在这里)。

创建文件夹export/servers,作为安装目录。

可用mkdir命令,也可在图形化界面直接右键新建文件夹。

将下载好的jdk压缩包放在此文件夹中。

解压文件使用tar命令解压到/export/servers/:

tar -zxvf jdk-8u171-linux-x64.tar.gz -C /export/servers/

进入/export/servers/,给 jdk-8u171创建软链接,名为jdk。(相当于创建快捷方式)

cd /export/servers/                ln -s jdk1.8.0_171 jdk

配置环境变量:

使用vim命令编辑profile文件,在文件末尾添加一下内容(按“i”进入编辑,按“:wq”保存退出)。

 vim /etc/profile

在文末加上这几行:

#set java env

export JAVA_HOME=/export/servers/jdk 
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH 

效果如下图

使用source命令,使配置文件生效        source /etc/profile

使用java -version观察配置是否成功,至此jdk配置完成。

2. 克隆多台虚拟机

因为是搭建hadoop集群,所以需要多台虚拟机。

vmware自带虚拟机克隆功能,很方便。右键“hadoop01”->"快照"->"拍摄快照”

hadoop01关机,然后右键“hadoop01”->"管理"->"克隆”

修改虚拟机名称和目录,点击“完成”。

500

等待克隆完毕即可,同理克隆hadoop03。

3. 更改hostname、hosts

本机的hostname可以通过hostname命令来查看。

更改hostname可以通过命令vi /etc/sysconfig/network修改。

也可在图形化界面“设置”->“详细信息”修改。

同样修改hadoop02、hadoop03的hostname。

修改hosts,将这几台虚拟机的地址放在一起,这样这几台虚拟机就可以相互ping通了。

ifconfig查看这三台虚拟机的ip地址。 en开头的那一段192.168.80.139就是hadoop01的地址。(图形界面可以看,wlp3s0里应该也可以)

如果看不到,到etc/sysconfig/network-scripts里找ifcfg-en...把最后一行修改为onboot=yes

然后按 Esc 退出  再出入命令 :wq  再按Enter即可  (备注 :wq 是保存然后退出的意思 后面会专门讲下vi)

然后重启网络服务: sudo service network restart (我这里命令行不能用)

ee.jpg

同理查看hadoop02、hadoop03的地址。

文件位置在/etc/hosts。命令:    cat /etc/hosts

文末加入:(ip地址要根据你实际的ip地址填)

192.168.80.139 hadoop-node-01 hadoop01
192.168.80.140 hadoop-node-02 hadoop02
192.168.80.141 hadoop-node-03 hadoop03

也可通过图形化界面的文件夹直接改。

改完之后可以用ping命令试试是否成功。

结束ping可以用ctrl+c。

4. 关闭防火墙

查看系统是否安装防火墙:iptables -V

如果显示如:
iptables v1.3.5 ,说明已经安装了iptables。

如果没有安装iptables需要先安装,执行: yum install iptables 

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

   
   
   

猜你喜欢

转载自blog.csdn.net/weixin_42490528/article/details/80745591