一、安装虚拟机
1、下载任何版本的虚拟机并安装在PC端上
2、需要下载CentOS7_minimal版本的安装包
3、准备JDK和Hadoop安装包
二、配置CentOS7网络环境
CentOS7的静态ip设置与以前版本的Linux有细微的差别,这也是需要注意的地方。作者 为了配置 有效的静态ip,尝试了很多的方法。
1、虚拟机的设置
选择虚拟机的编辑选项----->虚拟网络编辑器(管理员模式打开)
在上图中已经标注出需要注意的地方,同时需要查看NAT设置
设置网关IP与你设置的子网IP一致,在端口转发中可以添加转发类型(TCP/UDP),端口转发主要是为了方便其他网段的PC短访问主机。
2、CentOS7网络环境设置
(一)、修改主机名:vi/etc/sysconfig/network,将主机名修改为master
(二)、配置静态IP地址
输入命令:vi /etc/sysconfig/network-scripts/ifcfg-ensxxxx(xxxx表示每台主机的网络配置文件)
图中表示出来的地方是需要修改和添加的内容,IP地址和网关和你虚拟机设置的子网一致,同时添加DNS服务器的IP地址。
很多文章关于CentOS7配置静态IP的方法就到此为止,任何就重启网络服务,会发现不能ping通外网地址,这需要对其DNS服务器进行配置。
输入命令:vi /etc/resolv.conf 添加DNS服务器的IP地址
(三)、修改IP地址和主机名的映射关系
(四)、关闭防火墙
停止防火墙:systemctl stop firewalld.service
禁止防火墙开机自启:systemctl disable firewalld.service
关闭selinux:vi /etc/selinux/config,修改如下图
(五)、重启network服务
(六)、检查是否成功配置网络:ping www.baidu.com
(七)、克隆主机
(1)、分别修改主机名为slave01和slave02:vi /etc/sysconfig/network
(3)、测试网络环境:在master主机上ping slave01和ping slave02
三、配置ssh免密登陆
(一)、master主机上生成密钥:ssh-keygen,全部回车键
(二)、master密钥拷贝到其他主机的授权列表文件authorized-keys中:ssh-copy-id slave01\ssh-copy-id slave02,同时需要在本机配置相同的免密:ssh-copy-id master
(三)、测试:ssh slave01\ssh slave02
四、宿主机所在局域网内的其他主机访问虚拟机
1、在NAT设置中添加规则
2、宿主机配置
win键+R 输入control 打开控制面板--->所有控制面板项----->网络连接
(2)、宿主机防火墙入站规则设置
win键+R 输入control 打开控制面板---->(系统安全)----->windows防火墙 ------>高级设置----->入站规则
鼠标右键选择新建规则,然后选择端口,接着选择特定本地端口(输入你在NAT设置中端口转发的主机端口)设置完成后,宿主机所在的局域网内的其他主机就能访问虚拟机咯。
五、JDK安装
(一)、JDK上传(需要开启master主机的ssh服务,使用远程登陆工具,例如Secure Shell Client、Xshell、PuTTY、WInSCP等等)
1、安装ssh:yum install openssh-server
2、配置ssh_config(vi /etc/ssh/ssh_config)
3、yum install lrzsz -y(文件上传和下载工具)
5、解压jdk安装包:tar -zxvf jdk-80191-linux-x64.tar.gz
6、配置环境变量:vi /etc/profile,添加下图的内容,注意:JAVA_HOME和JRE_HOME为jdk安装的位置,然后source /etc/profile 使配置生效
7、输入 Java -version 检查是否成功
8、拷贝JDK和profile到slave01和slave02主机上
scp - r /hadoop/ jdk1.8.0_191 /root@slave01:/hadoop/jdk1.8.0_191/
scp - r /hadoop/ jdk1.8.0_191 /root@slave02:/hadoop/jdk1.8.0_191/
scp -r /etc/profile /root@slave01/etc/
scp -r /etc/profile /root@slave01/etc/
(3)、生效profile:source /etc/profile
六、Hadoop安装部署
参考:https://blog.csdn.net/qq_41684957/article/details/81946128
1、上传Hadoop安装包:rz hadoop-3.1.1.tar,gz
2、解压hadoop安装包:tar -zxvf hadoop-3.1.1.tar.gz
4、修改环境变量:vi /etc/profile,添加图中以下内容,并重新启动 source /etc/profile
5、修改hadoop-env.sh,配置java jdk路径(JDK、Hadoop的安装路径,同时添加其他内容如下图)
6、修改core-site.xml文件(tmp需要手动创建,放在hadoop总文件夹中)
7、修改hdfs-site.xml文件(name和data需要手动创建,放在hadoop总文件夹中)
8、修改mapred-site.xml文件,需要先拷贝mapred-site.xml.template并重新命名为mapred-site.xml,然后在进行修改。
scp -r /hadoop/hadoop-3.1.1 root@slave01:/hadoop/hadoop-3.1.1
scp -r /hadoop/hadoop-3.1.1 root@slave02:/hadoop/hadoop-3.1.1
11、初始化hadoop: ./hdfs namenode -format或./hadoop namenode -format