Arquitectura principal de Spark

Arquitectura principal de Spark

Maestro

	主节点,主要用于集群的管理,任务资源的分配,以及接受客户端提交的任务

obrero

	从节点,主要用于负责任务

ejecutor

	进程,启动一些进程来执行任务
	**注意,executor是资源分配的单位,任何一个任务,资源分配的越多,任务运行得就越快**		

tarea

	线程,任务执行的最小粒度单位

solicitud

	运行一个main方法就是一个application

trabajo

	一个application里面可能有多个job

cliente

	客户端,主要用于提交任务

Conductor

	驱动程序,主要负责DAG的划分,stage的划分,以及task的分解

Supongo que te gusta

Origin blog.csdn.net/weixin_44429965/article/details/107309152
Recomendado
Clasificación