在 EMR 上启用 DominantResourceCalculator

1. 说明

DominantResourceCalculator 仅工作于 capacity-scheduler 模式下,需要启用 capacity-scheduler,然后在其下面配置 DominantResourceCalculator( EMR 默认使用的就是 capacity-scheduler,并不需要显式配置 yarn.resourcemanager.scheduler.class,这里是为了阐述清晰而显式配置了 )。以下是 启用 DominantResourceCalculator 的 EMR Configuration 的 Json 内容 (注意:spark-defaults 部分配置用于通过 Spark 测试时排除 DynamicAllocation 机制的影响,非必要配置,如不需要可移除)

[
    {
   
    
    
        "Classification": "capacity-scheduler",
        "Properties":
        

猜你喜欢

转载自blog.csdn.net/bluishglc/article/details/134315259