hadoop分布式配置文件

1.配置hadoop-env.sh:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.201

2.配置core-site.xml文件:

<!-- 指定hadoop所使用的文件系统schema（URL)，HDFS的老大（NameNode）的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://master1:9000</value>

</property>

<!-- 指定hadoop运行时产生的文件存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

3.配置hdfs-site.xml文件：

 <!-- 指定HDFS副本数量 -->

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master2:50090</value>

</property>

4.mapred-site.xml:

<!-- 指定mr运行时框架，这里指定在yarn上，默认是local -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

5.yarn-site.xml

<!-- 指定yarn的老大（ResourceManager）的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>master1</value>

</property>

<propety>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

6.slaves文件 ，里面添加节点主机名字：

master1

master2

masters

7.配置环境变量/etc/profile：

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export YARN_HOME=/usr/local/hadoop

export YARN_CONF_DIR=${YARN_HOME}/etc/hadoop