Hadoop2.x主要配置

• hadoop-env.sh
  配置JAVA环境变量
  export JAVA_HOME=/usr/java/jdk1.8.0_65

• core-site.xml
  配置fs.defaultFS和hadoop.tmp.dir属性

<!-- 配置fs.defaultFS属性。hadoop所使用的文件系统 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://fp-bd6:8020</value>
	<final>true</final>
</property>
    
<!-- 指定hadoop运行时产生文件的临时存储目录，可选 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>

• hdfs-site.xml

<!-- 指定HDFS副本的数量 默认是3-->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
    
<!-- 指定HDFS的文件存储目录-->
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/hadoop/hdfs/data</value>
</property>

• mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

• yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>fp-bd6</value>
</property>
    
<!-- 需配置成mapreduce_shuffle，才可运行MapReduce程序 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle,spark_shuffle,spark2_shuffle</value>
</property>