4.搭建hadoop环境(2.X)

1.解压安装

2. 配置hadoop环境变量

HADOOP_HOME

3. 配置Hadoop运行环境JAVA_HOME

• hadoop-env.sh
• yarn-env.sh
• hdfs-env.sh

将这3个文件中的JAVA_HOME都进行修改,并且直接使用绝对路径不容易出错

4.设置全局参数 core-site.xml

<!--指定NN的IP为master ,端口号为 9000-->
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property

<!-- 产生文件的临时存储目录安装目录下/usr/hadoop/hadoop-2.7.3/hdfs/tmp-->
<property>
<name>hadoop.tmp.dir</name>
<value>直接写文件</value>
</property>

5.设置全局参数 hdfs-site.xml

<!--NameNode元数据存放位置路径: /usr/hadoop/hadoop-2.7.3/hdfs/name -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file: 写入文件路径</value>
</property>

<!--DataNode在本地文件系统中存放块的路径: /usr/hadoop/hadoop-2.7.3/hdfs/data -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file: 写入文件路径</value>
</property>

<!--数据块副本的数量，默认为2 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

6.设置全局参数 yarn-site.xml

<!--指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址和端口号  18141-->
 <property>
 <name>yarn.resourcemanager.admin.address</name>
 <value>master:18141</value>
 </property>

7.设置全局参数mapreduce-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

8.设置节点文件

将主节点放到master中
将从节点放到slaves中

9.文件格式化

hadoop namenode -format

// 如果启动失败就去删除 残余文件

10. 启动集群

sbin/start-all.sh