原文地址：https://blog.csdn.net/zhanglh046/article/details/78486088
Executor是在worker启动的一个进程，用于执行task任务。我们知道CoarseGrainedSchedulerBackend在启动之后，会创建Driver终端，然后会立即向Driver发送RegisterExecutor消息，注册成功之后，会向CoarseGrainedSchedulerBackend返回一个RegisteredExecutor消息。然后会创建一个Executor对象；然后接下来Driver内的DAGScheduler。向CoarseGrainedSchedulerBackend发送LaunchTask消息，然后这个SchedulerBackend实际上调用executor来发起任务,创建TaskRunner来执行task。
一、核心属性
- String executorHostname: executor对应的hostname
- Boolean isLocal:是否是本地的
- ThreadPoolExecutor threadPool：线程池
- boolean userClassPathFirst: 是否首先加载用户jar中的class
- MutableURLClassLoader urlClassLoader: URL类加载器
- Long maxDirectResultSize: 直接结果最大为多大，首先从spark.task.maxDirectResultSize获取，如果没有设置则，默认是1M,还需要和rpc的message所允许的最大字节数比较，看谁比较小
- Long maxResultSize:最大结果限制，默认是1GB
- ConcurrentHashMap runningTasks: 正在运行的task列表
- ScheduledExecutorService heartbeater： 心跳线程
- HEARTBEAT_MAX_FAILURES ：心跳检测失败默认值60
二、重要方法
2.1 launchTask
def launchTask(context:ExecutorBackend, taskId: Long, attemptNumber: Int,
taskName: String,serializedTask: ByteBuffer): Unit = {
// 创建TaskRunner对象
val tr= new TaskRunner(context,taskId = taskId,attemptNumber = attemptNumber, taskName,
serializedTask)
// <task id, task runner> 放入内存缓存中
runningTasks.put(taskId,tr)
// 调用TaskRunner的run方法
threadPool.execute(tr)
}
2.2 killTask
def killTask(taskId: Long, interruptThread: Boolean): Unit = {
// 获取task 对应的 TaskRunner
val tr = runningTasks.get(taskId)
// 调用kill方法kill task
if (tr != null) {
tr.kill(interruptThread)
}
}