上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的
如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:https://blog.csdn.net/beixige/article/details/129112527
接下来是hadoop伪分布搭建的要准备东西：
jdk1.8.0_221
hadoop-2.7.7
我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7WgaVk
密码：553ubk
下面正式开始吧！
一.实现免密登陆
1. 创建ssh秘钥，输入如下命令，生成公私密钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2.将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出
ssh-copy-id -i /root/.ssh/id_dsa.pub master
ssh master
exit
二.Hadoop环境的安装与配置
1. 将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下，并将解压文件改名为hadoop
tar -zvxf /root/ruanjian/hadoop-2.7.7.tar.gz -C /opt
mv hadoop-2.7.7 hadoop
2.修改环境变量
vim /etc/profile
3.按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码：
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.按键ESC,按键:wq 保存并退出
5.生效刚刚的配置
source /etc/profile
6.编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件，操作如下:
vi /opt/hadoop/etc/hadoop/hadoop-env.sh
7. 按键 :set nu 回车设置行号
8.按键25gg定位到25行，部分截图如下:
9.按键dd删除此行，部分截图如下:
10.按键i，插入以下代码，注：根据自己的java路径而定
export JAVA_HOME=/opt/java
11.按键ESC 按键:wq 回车保存并退出
12.编辑/opt/hadoop/etc/hadoop/core-site.xml文件，部分截图如下：
vi /opt/hadoop/etc/hadoop/core-site.xml
13. 按键 :set nu 回车设置行号
14.按键19gg定位到19行，按键o添加如下代码，部分截图如下
<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
15.按键Esc,按键:wq保存退出
16.编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件,部分截图如下
vi /opt/hadoop/etc/hadoop/hdfs-site.xml
17. 按键 :set nu 回车设置行号
18.按键20gg定位到20行，按键i添加如下代码
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
19.按键Esc,按键:wq保存退出
20.复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml
cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
21.编辑/opt/hadoop/etc/hadoop/mapred-site.xml文件,部分截图如下
vi /opt/hadoop/etc/hadoop/mapred-site.xml
22.按键:set nu回车，设置行号
23.按键20gg定位到20行,按键i添加如下代码
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
24.按键Esc,按键:wq保存退出
25.编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件,部分截图如下:
vi /opt/hadoop/etc/hadoop/yarn-site.xml
26.按键:set nu回车，设置行号
27.按键18gg定位到18行,按键i添加如下代码，部分截图如下
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
28.按键Esc,按键:wq保存退出
29.编辑/opt/hadoop/etc/hadoop/slaves文件
vim /opt/hadoop/etc/hadoop/slaves
30.按键dd删除首行，按键i添加如下内容
master
31.按键Esc,按键:wq保存退出
32.切换到机器上，命令行中执行如下指令，格式化hdfs，部分截图如下
hdfs namenode -format
33.机器命令行中执行如下指令,启动集群，启动过程中出现“are you sure you want to continue connecting”，输入yes。
start-all.sh
34.机器命令行中执行如下指令,查看进程
jps
