hadoop集群配置文件

配置文件与功能对应:

修改core-site.xml文件

<property>

<name>fs.defaultFS</name>

<!--配置hdfs系统的地址-->

<value>hdfs://hdp-qm-01:8020</value>(在哪一台配,namenode就在哪一台启动

</property>

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop-2.6.0/hadoopdata/tmp</value>

</property>

修改hdfs-site.xml文件

<property>

<!--副本数3-->

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<!--hadoop2.x默认数据块大小是128M-->

<name>dfs.blocksize</name>

<value>134217728</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<!--NameNode节点存储元数据的位置-->

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/name</value>

</property>

<property>

<!--DataNode节点存储数据块的位置-->

<name>dfs.datanode.data.dir</name>

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/data</value>

</property>

<property>

<name>fs.checkpoint.dir</name>

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>

</property>

<property>

<name>fs.checkpoint.edits.dir</name>

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>

</property>

<property>

<!--hdfs系统的web地址-->主机2为主机1做辅助作用

   <name>dfs.http.address</name>

   <value>hdp-qm-01:50070</value>

</property>

<property>

   <name>dfs.secondary.http.address</name>

   <value>hdp-qm-02:50090</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

修改mapred-site.xml文件

命令如下:

# mv mapred-site.xml.template  mapred-site.xml

#vi mapred-site.xml

<property>

<!--配置执行计算模型时使用yarn资源调度器-->

<name>mapreduce.framework.name</name>

<value>yarn</value>

<final>true</final>

</property>

<property>

<!--配置MapReduce框架的历史服务的地址-->内部端口

<name>mapreduce.jobhistory.address</name>

<value>hdp-qm-01:10020</value>

</property>

<property>

<!--配置MapReduce框架的历史服务的地址-->外部web端口

<name>mapreduce.jobhistory.webapp.address</name>

<value>hdp-qm-01:19888</value>19888mapreduce的历史端口

</property>

修改yarn-site.xml,配置yarn的集群。。50070hdfsweb端口

<property>

<!--配置resourcemanager服务的地址-->

<name>yarn.resourcemanager.hostname</name>

<value>hdp-qm-01</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<!--配置mapreduceshuffle服务的地址-->

<value>mapreduce_shuffle</value>注:mapreduce处理开始,到聚合之前,为shuffle过程。

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>hdp-qm-01:8032</value>内部通信端口与nodemanager通信的端口

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>请求某一台机器,调度资源时需要的端口,

<value>hdp-qm-01:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hdp-qm-01:8031</value>tracker跟踪,nodemanager跟踪资源时需要的端口

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>hdp-qm-01:8033</value>任务管理需要的端口

</property>

<property>

<!--配置resourcemanagerweb访问地址-->

<name>yarn.resourcemanager.webapp.address</name>

<value>hdp-qm-01:8088</value>8088yarnweb端口

</property>

猜你喜欢

转载自www.cnblogs.com/pingzizhuanshu/p/8963983.html