Apache Hadoop 安装

一、此文档安装Apache Hadoop-2.7.4

二、上传安装包：

将hadoop-2.7.4-with-centos-6.7.tar.gz 上传到/usr/local 目录下

如图：

三、为了便于文件管理，分别在三台主机上创建文件夹，如下

指令：（注：每个节点均需操作一下指令）

# mkdir -p /data/hdfs/name

# mkdir -p /data/hdfs/data

# mkdir -p /data/hdfs/tmp

四、解压hadoop安装包

指令：tar -zxvf hadoop-2.7.4-with-centos-6.7.tar.gz

如图：

五、配置hadoop的环境变量

指令：

# vim /etc/profile

#将一下内容添加到profile文件中

export HADOOP_HOME=/usr/local/hadoop-2.7.4 （注：此处对应hadoop安装路径）

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

如图：

# 保存退出后，将profile配置文件从zgl-1节点发送到其余节点上

# scp /etc/profile @zgl-2:/etc/

# scp /etc/profile @zgl-3:/etc/

# 三个节点均重新加载环境变量

# source /etc/profile

#验证配置后，查看hadoop的版本

# hadoop version

如图：

六、hadoop的文件配置

1、进入hadoop的配置目录

# cd /usr/local/hadoop-2.7.4/etc/hadoop/

# ll 查看hadoop的各个配置文件
如图：

2、配置hadoop-env.sh

# vim hadoop-env.sh

# 加入以下配置内容：

# The java implementation to use.

export JAVA_HOME=/usr/local/jdk1.8.0_141

如图：

3、配置core-site.xml

# vim core-site.xml

#将以下内容加入core-site.xml文件中

<property>
<name>fs.defaultFS</name>
<value>hdfs://zgl-1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hdfs/tmp</value>
</property>

如图：

4、配置hdfs-site.xml

# vim hdfs-site.xml

# 将以下内容添加到hdfs-site.xml文件中

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>zgl-2:9001</value>
</property>

如图：

5、配置mapred-site.xml

# cp mapred-site.xml.template mapred-site.xml

# vim mapred-site.xml

# 将以下内容添加到mapred-site.xml文件中

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

如图：

6、配置yarn-site.xml

# vim yarn-site.xml

# 将以下内容添加到yarn-site.xml文件中

<property>
<name>yarn.resourcemanager.hostname</name>
<value>zgl-1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

如图：