Hadoop 环境基本配置信息

1. 默认配置文件: 存放于Hadoop对应的jar包中

  • core-default.xml
  • hdfs-default.xml
  • yarn-default.xml
  • mapred-default.xml

2. 自定义配置文件: $HADOOP_HOME/etc/hadoop

  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml

2.1 core-site.xml

 <configuration>
      <property>
          <!-- 指定HDFS中NameNode的地址 -->
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
          <!-- 指定Hadoop运行时产生文件的存储目录,hadoop启动时,会自动创建 -->
          <property>
              <name>hadoop.tmp.dir</name>
              <value>/(自定义路径)/hadoop-2.8.5/data/tmp</value>
          </property>
  </configuration>

2.2 hdfs-site.xml

 <configuration>
    <!-- nameNode 文件的副本数量 -->
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <!-- nameNode 的访问地址-->
     <property>
         <name>dfs.namenode.rpc-bind-host</name>
         <value>0.0.0.0</value>
     </property>
 </configuration>

2.3 yarn-site.xml

<configuration>
     <!-- Reducer 获取数据的方式-->
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>0.0.0.0</value>
     </property>
     <!-- 指定YARN 的 ResourceManager 的地址-->
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>${yarn.resourcemanager.hostname}:8090</value>
     </property>
     <!-- 开启日志聚集功能 -->
     <property>
         <name>yarn.log-aggregation-enable</name>
         <value>true</value>
     </property>
     <!-- 日志保留7天 -->
     <property>
         <name>yarn.log-aggregation.retain-seconds</name>
         <value>604800</value>
      </property>
  </configuration>

2.4 mapred-site.xml

 <configuration>
     <!-- 指定MR运行在YARN上 -->
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
     <!-- 历史记录服务器端地址 -->
     <property>
         <name>mapreduce.jobhistory.address</name>
         <value>localhost:10020</value>
     </property>
     <!-- 历史服务器web端地址 -->
     <property>
         <name>mapreduce.jobhistory.webapp.address</name>
         <value>0.0.0.0:8091</value>
     </property>
 </configuration>

猜你喜欢

转载自www.cnblogs.com/linkworld/p/10923798.html