hadoop和yarn的配置

yarn是集成在hadoopV2中的
用来管理计算资源和任务的调度

hadoop-2.6.0/etc/hadoop/目录下有几个配置:

存储资源

core-site.xml:

里面可以配置fs.defaultFS,也就是一些路径映射
有一个总的   viewfs   ,   
    不同的路径可以映射到不同的hdfs集群的具体路径
    注意,viewfs里面的一个路径唯一地映射到一个hdfs集群的具体路径

hdfs-site.xml:

这里面可以配置 多个具体的hdfs集群: dfs.nameservices
每个hdfs集群又有一堆配置,比如namenode,datanode等等
以及zookeeper,用来做ha高可用

计算资源

mapred-site.xml:

里面指定使用yarn的方式来管理计算,主要是mr任务
以及一些mr任务相关的默认配置

yarn-site.xml:

具体的yarn配置
yarn是运行在hdfs上的
mr运行在yarn,spark,storm都可以运行在yarn上

猜你喜欢

转载自www.cnblogs.com/brainstorm/p/9007880.html