hadoop配置项笔记 - yarn

yarn-site.xml

yarn.log-aggregation-enable

作用:是否开启任务日志收集

默认值:false

我的设置:true

 

yarn.log-aggregation.retain-seconds

作用:日志自动清理前保存多长时间,单位秒。

默认值:-1

我的设置:864000

 

yarn.log-aggregation.retain-check-interval-seconds

扫描二维码关注公众号,回复: 5359245 查看本文章

作用:检查日志保留与否的时间间隔,单位秒。

默认值:-1 如果为0或负值,则计算为yarn.log-aggregation.retain-seconds的1/10.

我的设置:-1

 

yarn.resourcemanager.nodes.include-path

yarn.resourcemanager.nodes.exclude-path

作用:控制或排除nodemanager。可以是文件名的完整路经名,文件每一行是一台结点机器的IP或hostname。

默认值:空

我的设置:空

 

yarn.scheduler.minimum-allocation-mb

yarn.scheduler.maximum-allocation-mb

作用:每个容器向ResourceManager可申请的最小/最大内存,单位MB。

默认值:1024/8192

我的设置:随需要调整。

 

 

 

mapred-site.xml

 

mapreduce.map.memory.mb

作用:每个mapper申请的内存大小,单位MB

默认值:-1

我的设置:随需要调整。

 

mapreduce.map.java.opts

作用:为运行JVM程序准备的。mapper的child jvm的最大堆大小,单位MB

默认值:?

我的设置:-Xmx1014M,随需要调整。

 

mapreduce.reduce.memory.mb

作用:每个reducer申请的内存大小,单位MB

默认值:-1

我的设置:随需要调整。

 

mapreduce.reduce.java.opts

作用:为运行JVM程序准备的。reducer的child jvm的最大堆大小,单位MB

默认值:?

我的设置:-Xmx2560M,随需要调整。

 

 

 

 

猜你喜欢

转载自www.cnblogs.com/PigeonNoir/p/10452502.html