为什么我的集群一个 Spark Executor / Yarn Container 只有一个vCore?

在很多集群里,在关闭了Spark的DynamicAllocation的前提下(避免自动申请空闲资源,干扰测试结果),都会观察到:提交Spark作业时,申请 1 个 driver + n 个 executor 会在Yarn上对应创建 n+1 个 container,但是每个container只有一个vCore,通过--driver-cores--executor-cores设定的vCore数都未奏效。有人会因此错误的认为Yarn上的一个vCore对应一个Spark的executor,这是非常错误的,正确的关系是:一个Saprk Executor运行在一个Yarn Container里,Executor和Container是一对一的关系。Executor申请的vCore就是Container的vCore,但后半句其实是有条件的,上面描述的就是一种例外。

实际上,上面说的:一个 spark executor / yarn container 只分配一个vCore其实挺常见的,因为这种现象和一个配置项有关,在这个配置项的默认配置下,集群的行为就是这个样子,所以这种情况出现的概率很大。下面就详细介绍一下导致这种情况发生的原因和修正方法。

1. 重要结论


在使用Capacity Scheduler的前提下,Yarn有一个配置项:yarn.scheduler.capacity.resource-calculator,它是用来指定使用哪种方法(策略)计算集群资源的,这将决定资源调度器如何为一个作业分配内存和CPU。该配置的默认值是:DefaultResourceCa

猜你喜欢

转载自blog.csdn.net/bluishglc/article/details/132333370
今日推荐