YARN 集群的资源分配

YARN 集群在分配任务时,存在两种方式

1. DefaultResourceCalculator,只考虑内存(memory),每个 container 的 cpu 资源都分配 1 个。

2. DominantResourceCalculator,同时考虑内存(memory)和 cpu 资源。

在 AWS 的 EMR 中,默认使用的是 DefaultResourceCalculator,所以看到一个 application 的 running containers 数量等于 allocated CPU Vcores 数量,可根据自己的需求设置。

更常用的是 DominantResourceCalculator

参考文章:

https://hortonworks.com/blog/managing-cpu-resources-in-your-hadoop-yarn-clusters/

https://lists.apache.org/thread.html/%3CCACj_Czdski0xp8tP5U4Ydai-XqHrMsOV24-_HA+jVGXb2Of3cw@mail.gmail.com%3E

猜你喜欢

转载自www.cnblogs.com/keepthinking/p/10367413.html