集群模式相关概念

1.集群遵循主(Master)-从(Worker)机构:在不同的集群管理器模式下,Master和Worker映射的内容有所不同
  在Standalone模式下:主【Master守护进程】和从【Worker守护进程】
  在on Yarn模式下:主【ResourceManager守护进程】和从【Nodemanager守护进程】


2.驱动器(Driver)和执行器(executor)
  驱动器和执行器生命周期以应用为准。
  驱动器节点和所有的执行器节点一起被称为一个Spark 应用(application)。


3.集群管理器


4.驱动器作用:
  1.应用程序的入口,它执行用户编写的用来创建SparkContext、创建RDD,以及进行RDD的转化操作和行动操作的代码。
  2.将程序(对RDD处理)转换为任务(Task)
    Spark 驱动器程序负责把用户程序转为多个物理执行的单元,这些单元也被称为任务task
    Spark 程序其实是隐式地创建出了一个由操作组成的逻辑上的有向无环图(Directed Acyclic Graph,简称DAG)
  3.为执行器节点调度任务


5.执行器作用:
  1.Spark执行器节点是一种工作进程,负责在Spark作业中运行任务,任务间相互独立。
  2.Spark应用启动时,执行器节点就被同时启动,并且始终伴随着整个Spark应用的生命周期而存在。

猜你喜欢

转载自www.cnblogs.com/lyr999736/p/9550342.html