1. 说明
DominantResourceCalculator 仅工作于 capacity-scheduler 模式下,需要启用 capacity-scheduler,然后在其下面配置 DominantResourceCalculator( EMR 默认使用的就是 capacity-scheduler,并不需要显式配置 yarn.resourcemanager.scheduler.class
,这里是为了阐述清晰而显式配置了 )。以下是 启用 DominantResourceCalculator 的 EMR Configuration 的 Json 内容 (注意:spark-defaults 部分配置用于通过 Spark 测试时排除 DynamicAllocation 机制的影响,非必要配置,如不需要可移除):
[
{
"Classification": "capacity-scheduler",
"Properties":