关于spark任务提交状态的理解

spark任务提交之后作业运行状态

在spark向yarn提交作业之后,正常情况下,作业运行结束之前,状态分为两种,分别是:accept以及running

一、accept

    该状态表示Application已经提交给调度器。

    在NEW_SAVEING转换为SUBMITTED状态的时候,RMAppImpl会除法StartAppAttemptTransition,这是会创建一个新的RMAppAttempt,然后新建RMAppAttemptEventType.START事件给处理器,经过RMAppAttempt处理机。当该RMAppAttempt交给度器(的某个组)后,状态改为ACCEPTED。

二、running

        AM已经启动并注册到RM上。两种情况下会转换为RUNNING状态:

AM启动会向RM注册,这时候会触发RMApplmpl状态转换为RUNNING。

RMAppImpl也有可能在Recovery模式下转换为RUNNING.

三、运行流程图

      图片

所以说,spark作业在提交之后处于accept状态的情况下,并不会占用driver端的内存。

猜你喜欢

转载自www.cnblogs.com/Gxiaobai/p/12215846.html