Spark中Task数目分析介绍

一、Executor

在Spark中，Executor是执行Spark任务（Tasks）的工作进程，是Spark应用程序在集群节点上的一个独立进程。每个Spark应用都有自己独立的一组Executors。以下是Executor的详细介绍：

1. 基本概念和作用：

   • Executor是Spark应用程序在Spark Worker节点（或Kubernetes Pod、YARN Container等）上的一个独立JVM进程。
   • Executor是Spark作业执行的基本单位，它负责运行一个Spark应用的Task，并且存储该应用的数据。
   • Executor可以跨多个Spark作业共享，但不能跨Spark应用共享。

2. 资源和配置：

   • 当Spark应用启动时，它会请求集群管理器（如Standalone、YARN、Mesos或Kubernetes）分配一定数量的Executo