搭建hadoop集群环境一:服务器基础环境准备

一、环境搭建目标

服务器 运行角色
node1.adeaven.com namenode、datanode、resourceManager、nodeManager
node2.adeaven.com secondary namenode、datanode、nodeManager
node3.adeaven.com datanode、nodeManager

二、基础环境搭建

1、hosts在3台服务器的映射

  • 修改node的host文件

vim /etc/hosts
在这里插入图片描述

2.关闭防火墙

systemctl stop firewalld # 关闭防火墙,下次启动自动启动
systemctl disable firewalld # 禁止防火墙,永不启动
systemctl status firewalld # 查看防火墙状态

3.免密登录

node1|node2|node3之间相互都是免密

  • 生成ssh免密登录的公钥和私钥

ssh-keygen # 四个回车,搞定

  • 公钥上传到服务器【三台都需要设置,否则无法相互访问】

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

  • 测试免密登录

node1–》node2 ,打开node1,输入命令 ssh node2
输入命令 exit ,即可推出node2
在这里插入图片描述

4.同步系统时间

yum -y install ntpdate # 安装 ntpdate
ntpdate ntp4.aliyun.com # 同步时间,如果执行失败,再执行一次
date # 查看同步后的时间
在这里插入图片描述

5.创建服务器统一工作目录

// 软件安装路径
mkdir -p ./export/server/
// 数据存储路径
mkdir -p ./export/data/
// 安装包存放路径
mkdir -p ./export/software/

6.安装jdk环境

  • 上传jdk到node1 /export/software

jdk-8u321-linux-x64.tar.gz 当前使用的是jdk8

  • 解压到 /export/server

tar zxvf export/software/jdk-8u321-linux-x64.tar.gz -C export/server

  • 配置java环境变量

vim /etc/profile

export JAVA_HOME=export/server/jdk1.8.0_321
 export PATH=$PATH:$JAVA_HOME\bin
 export CLASSPATH=.$JAVA_HOME\lib\dt.jar:$jJAVA_HOME\bin\tools.jar

source /etc/profile
java -version
在这里插入图片描述

  • 同步环境到node2node3

scp -r /export/server/jdk1.8.0_321 root@node2:/export/server/
scp -r /etc/profile root@node2:/etc/
同步命令解析
scp -r 要同步的文件夹 用户名@ip[主机名]:目标文件夹所在位置
在这里插入图片描述

  • 查看node2和node3的java版本

java -version
在这里插入图片描述

三、问题处理

  • 问题描述

三台服务器的ip在安装系统后分别 192.168.88.128, 192.168.88.129, 192.168.88.130,但是我后来重启几次vmware之后,服务器的ip变了,这就导致我需要修改配置 hostname文件。但这样不解决根本问题,下一次重启ip又变了,总不能再去修改配置文件吧。

  • 解决思路

固定三台服务器的IP

  • 具体操作步骤

step1:输入命名 ifconfig 查看,现有网卡信息
在这里插入图片描述
step2:切换到 root 用户下,修改网卡信息需要root权限
step3: 根据上图中网卡名称修改网卡信息 vi /etc/sysconfig/network-scripts/ifcfg-ens33,其实ens33是网卡名称。

BOOTPROTO=“static”
IPADDR=192.168.88.130
NETMASK=255.255.255.0
GATEWAY=192.168.88.2
在这里插入图片描述

step4:编辑 resolv.conf文件

vim /etc/resolv.conf

// 增加内容
nameserver 8.8.8.8
nameserver 8.8.4.4
search localdomain

step4: 保存,退出
step5: 刷新网卡 service network restart
在这里插入图片描述
step6: 测试 网卡,ping www.baidu.com ,成功即可

三、写在最后

下一篇:我要学习hadoop的集群环境安装及初始化配置

猜你喜欢

转载自blog.csdn.net/m0_47448095/article/details/123537398