版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
hadoop完全分布式安装部署
前提
1、准备3台客户机（关闭防火墙、静态ip、主机名称）
2、安装JDK
3、配置环境变量
4、安装Hadoop
5、配置环境变量
6、配置集群
7、单点启动
8、配置ssh
9、群起并测试集群
本博客只有hadoop完全分布式的“配置集群”：，其他内容可参考本博主的其他博客
hadoop安装
官网下载hadoop2.7.2安装包
然后直接解压文件即可
hadoop组件部署
1、集群部署规划
| master | slave1 | slave2 | |
|---|---|---|---|
| HDFS | NameNode Datanade | Datanode | SecondaryNameNode Datanode |
| YARN | NodeManager | ResourceManager NodeManager | NodeManager |
2、配置集群
（1）核心文件配置
配置core-site.xml
[root@master hadoop]$ vi core-site.xml
在文件<configuration> </configuration>中添加内容
<!--指定hdfs中namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:90000</value>
</property>
<!--指定hadoop运行时产生的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop-2.7.2/data/tmp</value>
</property>
(2)HDFS配置文件
配置hadoop-env.sh
只要遇到env的文件，就是修改jdk环境
[root@master hadoop]$ vim hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_144
配置hdfs-site.xml
[root@master hadoop]$ vim hdfs-site.xml
<!--设置hdfs副本数-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--设置hadoop辅助名称节点的主机配置-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:50090</value>
</property>
(3)YARN配置文件
配置yarn-env.sh
[root@master hadoop]$ vim yarn-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_144
配置yarn-site.xml
[root@master hadoop]$ vim yarn-site.xml
添加配置
<!--Reducer获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定YARN的ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave2</value>
</property>
(4)MapReduce的配置文件
配置mapred-env.sh
[root@master hadoop]$ vi mapred-env.sh
export JAVA_HOME=/usr/loca/src/jdk1.8.0_144
配置mapred-site.xml
[root@master hadoop]$ cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]$ vi mapred-site.xml
添加配置
<!--指定MR运行在YARN上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3、分发文件
将master配置好的hadoop文件分发给slave1和slave2
[root@master hadoop]# scp -r /usr/local/src/hadoop-2.7.2 root@slave1:/usr/local/src/
[root@master hadoop]# scp -r /usr/local/src/hadoop-2.7.2 root@slave2:/usr/local/src/
4、集群群启动
群起前提是已配置ssh免密登录
首次启动需格式化namenode
[root@master hadoop]#bin/hdfs namenode -format
启动集群
[root@master hadoop]#sbin/start-dfs.sh
[root@master hadoop]#sbin/start-yarn.sh
最后在各个节点查看是否与“集群部署规划”的一样