Hadoop伪分布式集群搭建总结

                                           Hadoop伪分布式集群搭建总结

一、所需软件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
二、安装
注意:
对文件进行编辑:输入a,表示对该文件进行编辑,最后保存该文件,操作为:点击键盘上的Esc按钮,然后输入英文的:字符,再输入wq,点击回车,完成文件的保存。

1、关闭防火墙和禁用SELINUX
(1)、永久关闭防火墙,重启Linux系统
Hadoop伪分布式集群搭建总结
(2) 、禁用SELINUX:修改文件参数 重启Linux使其生效
Hadoop伪分布式集群搭建总结
(3)、检查防火墙是否运行,显示下图即为关闭
Hadoop伪分布式集群搭建总结
2、配置hostname与IP地址之间的对应关系
(1)、查看自己的IP
Hadoop伪分布式集群搭建总结
(2)、查看自己的hostname
Hadoop伪分布式集群搭建总结
(3)、配置对应关系
Hadoop伪分布式集群搭建总结
注意:IP与hostname之间有空格
3、创建用户
(1),创建hadoop用户
Hadoop伪分布式集群搭建总结
(2)、为hadoop用户设置密码
Hadoop伪分布式集群搭建总结
4、配置 SSH免密登录
(1)、检查自己系统是否安装SSH
Hadoop伪分布式集群搭建总结
注意:若没安装SSH则在有网的情况下可输入:yum install openssh-server 进行安装。
(2)、为hadoop用户配置SSH免密登录
Hadoop伪分布式集群搭建总结
注意:一定要切换到hadoop用户下并进入“~”目录!
Hadoop伪分布式集群搭建总结
注意:输入ssh-keygen -t rsa后一直回车即可!
然后进入.ssh目录进行以下操作
Hadoop伪分布式集群搭建总结
注意:“authorized_keys”一定要准确!**``**
进入“~”目录为.ssh目录及其文件赋予相应权限
Hadoop伪分布式集群搭建总结

5、JDK安装
(1)、创建存放软件目录
Hadoop伪分布式集群搭建总结
(2)、上传解压jdk
Hadoop伪分布式集群搭建总结
注意:确保红框内权限为hadoop的!如果为root,可进入root用户修改为hadoop, 命令为:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,然后重新进入hadoop用户进行解压
(3)、为jdk1.8.0_211创建软连接
Hadoop伪分布式集群搭建总结
(4)、配置bashrc文件
Hadoop伪分布式集群搭建总结
使配置文件生效
Hadoop伪分布式集群搭建总结
(5)、验证JDK是否安装成功,显示下图即为成功
Hadoop伪分布式集群搭建总结
6、hadoop安装及配置
(1)、上传解压hadoop
Hadoop伪分布式集群搭建总结
注意:确保红框内权限为hadoop的!如果为root,可进入root用户修改为hadoop 命令为:chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,然后重新进入hadoop用户进行解压

(2)、进入hadoop配置文件目录进行相应文件配置
Hadoop伪分布式集群搭建总结
配置core-site.xml vi core-site.xml
Hadoop伪分布式集群搭建总结
注意:箭头所指应为自己的hostname
配置hdfs-site.xml vi hdfs-site.xml
Hadoop伪分布式集群搭建总结
配置hadoop-env.sh vi hadoop-env.sh
Hadoop伪分布式集群搭建总结
注意:此路径为JDK的安装目录
配置mapred-site.xml vi mapred-site.xml
Hadoop伪分布式集群搭建总结
配置yarn-site.xml vi yarn-site.xml
Hadoop伪分布式集群搭建总结
配置slaves vi slaves
Hadoop伪分布式集群搭建总结
注意:此为自己的hostname
(3)、为hadoop-2.7.3创建软连接
Hadoop伪分布式集群搭建总结
(4)、配置bashrc文件
Hadoop伪分布式集群搭建总结
使配置文件生效
Hadoop伪分布式集群搭建总结
(5)、创建hadoop相关数据目录
Hadoop伪分布式集群搭建总结
(6)、格式化Namenode hadoop namenode -format
Hadoop伪分布式集群搭建总结
注意:出现以上2个信息即为成功!如果出现要输入密码等情况,检查自己的SSH免密登录是否配置正确!!!
(7)、启动hadoop伪分布式集群
Hadoop伪分布式集群搭建总结
注意:出现以上信息输入yes即可!!!
(8)、通过jps命令查看hadoop的启动进程
Hadoop伪分布式集群搭建总结
注意:出现以上5个进程即为hadoop伪分布式集群启动成功

猜你喜欢

转载自blog.51cto.com/14572091/2441615