Hadoop集群安装搭建（12台主机）

Hadoop集群搭建

参考网址：
https://blog.csdn.net/gebitan505/article/details/77893810

提示：所有集群安装zookeeper，并配置相关系统的主机名映射；然后安装Hadoop软件，参考如下步骤进行安装。

1 安装java

详见java安装手册《JDK1.8安装搭建手册》。

2 安装zookeeper

详见《Zookeeper安装手册》。

3 解压配置

（1）将Master节点中hadoop的安装目录打包，发送给各Slave节点，注意必须先打包再发送，否则该目录下的link文件将失效。
本集群信息master节点196.168.11.20，
slave节点为196.168.11.[9-19]，slave节点共11个节点。

cd /usr/lib
sudo tar –cvf hadoop.tar hadoop/
scp hadoop.tar hadoop@Slave1:/home/hadoop/

（2）登录Slave节点，将文件解压到对应的路径：

sudo tar xvf hadoop.tar /usr/local

设置文件夹权限：

sudo chown -R hadoop:hadoop /usr/local/hadoop

（3）在Slave节点中配置hadoop环境变量，请参照Master节点。
（4）修改5个配置文件，分别是hadoop/etc/hadoop目录下的core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml和slaves文件，注意，所有节点均需修改。
core-site.xml配置文件：

<configuration>  
  <property>  
    <name>hadoop.tmp.dir</name>  
    <value>file:/usr/local/hadoop/tmp</value>  
 <description>Abasefor other temporary directories.</description>  
  </property>  
  <property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://hadoop12:9000</value>  
  </property>  
</configuration>  

hdfs-site.xml配置文件:

<configuration>  
  <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
  </property>  
  <property>  
    <name>dfs.namenode.name.dir</name>  
    <value>file:/tmp/hadoop/dfs/name</value>  
  </property>  
  <property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file:/tmp/hadoop/dfs/data</value>  
  </property>  
  <property>  
    <name>dfs.namenode.secondary.http-address</name>  
    <value> hadoop12:50090</value>  
  </property>  
</configuration>  

mapred-site.xml配置文件:

<configuration>  
  <property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
  </property>  
  <property>  
    <name>mapreduce.jobhistory.address</name>  
    <value> hadoop12:10020</value>  
  </property>  
  <property>  
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value> hadoop12:19888</value>  
  </property>  
</configuration>  

yarn-site.xml配置文件:

<configuration>  
  <property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
  </property>  
  <property>  
    <name>yarn.resourcemanager.hostname</name>  
  <value>cit128</value>  
  </property>  
</configuration>  

slave配置文件：

slaves:
hadoop01
hadoop02
hadoop03
hadoop04
hadoop05
hadoop06
hadoop07
hadoop08
hadoop09
hadoop10
hadoop11

4 安装包分发
利用scp命令进行安装包的分发：

scp –r /home/Hadoop-2.7.2/ hostname:/home/

5 启动与关闭

start-dfs.sh
start-yarn.sh

或者使用start-all.sh命令代替上述两份脚本文件也可以。

启动历史服务进程：

mr-jobhistory-daemon.sh start historyserver

启动后，Master节点上运行的进程有：

>
NameNode
SecondaryNameNode
JobHistoryServer
ResourceManager
Slave节点上运行的进程有：
DataNode
NodeManager

6 运行hadoop分布式实例
创建用户目录：

hdfs dfs -mkdir -p /user/hadoop

创建输入目录和输入文件：

hdfs dfs -mkdir input
hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

运行mapreduce作业：

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

等待mapreduce作业运行结束，查看运行结果：

hdfs dfs -cat output/*

---

（感谢通通同学的大力支持！！！）,如有需要请@TA
https://blog.csdn.net/wangxiaotongfan/article/category/6140063