搭建hadoop集群前期配置工作(一):
1.安装jdk
2.克隆多台虚拟机
3.更改hostname、hosts
4.关闭防火墙
1.安装jdk
卸载旧的jdk:
检查一下系统中的jdk版本 java -version
检测jdk安装包 rpm -qa | grep java
卸载openjdk yum remove *openjdk*
安装新的jdk:
首先到jdk官网上下载你想要的jdk版本,http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
由于我的Linux是64位的,因此我下载jdk-8u171-linux-x64.tar.gz。
创建文件夹export/software,用来放置待解压的软件(把下载好的jdk放在这里)。
创建文件夹export/servers,作为安装目录。
可用mkdir命令,也可在图形化界面直接右键新建文件夹。
将下载好的jdk压缩包放在此文件夹中。
解压文件使用tar命令解压到/export/servers/:
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /export/servers/
进入/export/servers/,给 jdk-8u171创建软链接,名为jdk。(相当于创建快捷方式)
cd /export/servers/ ln -s jdk1.8.0_171 jdk
配置环境变量:
使用vim命令编辑profile文件,在文件末尾添加一下内容(按“i”进入编辑,按“:wq”保存退出)。
vim /etc/profile
在文末加上这几行:
#set java env
export JAVA_HOME=/export/servers/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
效果如下图
使用source命令,使配置文件生效 source /etc/profile
使用java -version观察配置是否成功,至此jdk配置完成。
2. 克隆多台虚拟机
因为是搭建hadoop集群,所以需要多台虚拟机。
vmware自带虚拟机克隆功能,很方便。右键“hadoop01”->"快照"->"拍摄快照”
hadoop01关机,然后右键“hadoop01”->"管理"->"克隆”
修改虚拟机名称和目录,点击“完成”。
等待克隆完毕即可,同理克隆hadoop03。
3. 更改hostname、hosts
本机的hostname可以通过hostname命令来查看。
更改hostname可以通过命令vi /etc/sysconfig/network修改。
也可在图形化界面“设置”->“详细信息”修改。
同样修改hadoop02、hadoop03的hostname。
修改hosts,将这几台虚拟机的地址放在一起,这样这几台虚拟机就可以相互ping通了。
ifconfig查看这三台虚拟机的ip地址。 en开头的那一段192.168.80.139就是hadoop01的地址。(图形界面可以看,wlp3s0里应该也可以)
如果看不到,到etc/sysconfig/network-scripts里找ifcfg-en...把最后一行修改为onboot=yes
然后按 Esc 退出 再出入命令 :wq 再按Enter即可 (备注 :wq 是保存然后退出的意思 后面会专门讲下vi)
然后重启网络服务: sudo service network restart (我这里命令行不能用)
同理查看hadoop02、hadoop03的地址。
文件位置在/etc/hosts。命令: cat /etc/hosts
文末加入:(ip地址要根据你实际的ip地址填)
192.168.80.139 hadoop-node-01 hadoop01
192.168.80.140 hadoop-node-02 hadoop02
192.168.80.141 hadoop-node-03 hadoop03
也可通过图形化界面的文件夹直接改。
改完之后可以用ping命令试试是否成功。
结束ping可以用ctrl+c。
4. 关闭防火墙
查看系统是否安装防火墙:iptables -V
如果显示如:
iptables v1.3.5 ,说明已经安装了iptables。
如果没有安装iptables需要先安装,执行: yum install iptables
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动