Hadoop伪分布的搭建，有搭建好的成品直接下载（从安装Centos7开始或者ubuntu）

---

搭建环节可以直接下包，然后在VM里面选择打开虚拟机就可以了
就不用看Centos7安装了！！，下面的也都不用看了，它已经是伪分布式了
这个是ubuntu的
密码都是：123456

版本1：没有按JDK和Hadoop:
链接：https://pan.baidu.com/s/11zxNFy5j-atBw6eoYqd0Bg
提取码：8888

版本2：安装了JDK和Hadoop:
链接：https://pan.baidu.com/s/11xusoHDjW_huqb1ueH964w
提取码：9999

按装版本2的才可以直接使用下面的步骤，否则无效。只能跟着后面的才可以再来验证

启动完，能打开这两个网站就OK!!

什么是Hadoop集群的搭建

Hadoop集群是由多个计算机节点组成的分布式计算环境，每个节点都运行着Hadoop软件，并协同工作来完成数据存储和计算任务。

一、安装

安装Centos7,进行ping测试，

1. 先安装centos7如果安装有下面情况点击这
如果安装完后又遇到ping不了先看这里，还是不行就重新创建虚拟机，然后在网络设置哪里不要点配置

安装JDK和Hadoop

安装JDK和Hadoop
链接：https://pan.baidu.com/s/1eLJCWZtspOQEiWcaRKX4Qw
提取码：7777

安装WinSCP 官网搜索就行

扫描二维码关注公众号，回复： 15495646 查看本文章

配置JDK和Hadoop 环境变量

注意所有的带HOME的配置，看看自己的安装地址

JDK安装

这样显示就好了

Hadoop安装

看见这样的信息就好了

配置其他文件

伪分布式安装
配置hadoop-env.sh
进入目录在${HADOOP_HOME}/etc/hadoop:
$ cd ~/hadoop/etc/hadoop
打开hadoop-env.sh:
$ vi hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME} 改为
export JAVA_HOME=~/jdk1.8.0_171

配置core-site.xml (在core-site.xml中配置 hadoop.tmp.dir的vlaue 时，要写绝对路径，若用相对路径可能会导致HDFS格式化错误)

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		  <name>hadoop.tmp.dir</name>
		  <value>/home/hadoop/hadoop/tmp</value>
 	</property>
	<property>
		  <name>fs.defaultFS</name>
		  <value>hdfs://localhost</value>
	</property>
</configuration>

配置hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>	
	     <name>dfs.replication</name>
	     <value>1</value>
    </property>
</configuration>

①　配置mapred-site.xml(mapred-site.xml不存在，但有mapred-site.xml.tmplate，我们只需要用命令将mapred-site.xml.template复制并改名即可。
cp ~/hadoop/etc/hadoop/mapred-site.xml.template ~/hadoop/etc/hadoop/mapred-site.xml
然后修改mapred-site.xml。
)

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

配置yarn-site.xml

<?xml version="1.0"?>
<configuration>
   <property>
		  <name>yarn.resourcemanager.hostname</name>
		  <value>localhost</value>
    </property>
    <property>	                 <name>yarn.nodemanager.aux-services</name>
		  <value>mapreduce_shuffle</value>
    </property>
</configuration>

运行检查

能用虚拟机打开下面的浏览器验证就OK了