spark主要架构

master

	主节点,主要用于集群的管理,任务资源的分配,以及接受客户端提交的任务

worker

	从节点,主要用于负责任务

executor

	进程,启动一些进程来执行任务
	**注意,executor是资源分配的单位,任何一个任务,资源分配的越多,任务运行得就越快**		

task

	线程,任务执行的最小粒度单位

application

	运行一个main方法就是一个application

job

	一个application里面可能有多个job

client

	客户端,主要用于提交任务

Driver

	驱动程序,主要负责DAG的划分,stage的划分,以及task的分解

猜你喜欢

转载自blog.csdn.net/weixin_44429965/article/details/107309152