Dirver、Executor、Master、Worker

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_36710456/article/details/85626798

要使用Spark,开发者需要编写一个Driver程序,它被提交到集群以调度运行Worker,如下图所示。
   1.)Driver中定义了一个或多个RDD,并调用RDD上的action;
   2.)Worker则执行RDD分区计算任务。

Master是啥?--- (集群主节点,相对于集群而言的概念)

Worker是啥?--- (集群从节点,相对于集群而言的概念)

Dirver是啥?---   (驱动器节点,相对于程序而言的概念)

Executor是啥?--- (驱动器节点,相对于程序而言的概念)

 

猜你喜欢

转载自blog.csdn.net/sinat_36710456/article/details/85626798