Hadoop YARN 常见问题【二】

YARN**
1.yarn与mapreduce的关系?
答:
(1)yarn是资源调度框架,mapreduce是分布式计算框架;
(2)yarn将jobTracker的资源管理和任务调度划分开了,通过ResourceManager进行资源的统一管理和分配,
ApplicationManager进行解析mapreduce程序然后变成一个个小任务,需要多少资源向ResourceManager请求,
然后nodeManager和applicationManager协作分配containner执行任务。

2.如何部署yarn RM NM和hdfs的datanode namenode节点?
答:
(1)dataNode和nodeManager放在一起
(2)yarn的ResourceManager单独放
(3)俩个active不放在一起,standby节点放在别的节点
(4)namenode 和RM 至少俩个

3.Yarn三个角色ResourceManager/applicationManager/nodeManager介绍?
ResourceManager:统一管理集群的所有资源,分配资源给applicationManager,接受nodemanager资源上报信息
applicationManager:管理应用程序,申请资源,任务调度
nodeManager:管理单个节点资源,上报资源使用,管理container生命周期

4.ResourceManagerHA高可用?
(1)个activeRM 多个standby RM;ZK选举ActiveRM,宕机后主备切换;

5.yarn的资源调度策略?
(1)FiFo Scheduler:先进先出,不灵活,利用率低;
(2)capacity Scheduler:提前做预算;多个队列共享资源;空闲资源优先给实际资源/预算资源小的队列;
特点:弹性分配;多租户;多层次;保证容量
(3)fair scheduler:见面分一半 资源抢占;占用资源小于最低资源限制 则强制停止其他队列任务;队列中有任务等待,则根据权重分配

猜你喜欢

转载自blog.csdn.net/dscfirst/article/details/91956712