Directorio de artículos
En Spark, un nodo puede tener uno o más Ejecutores, y la relación entre Ejecutores, Tareas y Contenedores es la siguiente:
1. Ejecutor
- Un ejecutor es un proceso en una aplicación Spark que se ejecuta en un nodo de trabajo. Cada aplicación Spark tiene su propio conjunto de procesos Executor.
- Un nodo puede tener uno o más procesos Ejecutores. Cada proceso Executor tiene su propia instancia de JVM, por lo tanto, cada proceso Executor se ejecuta en su propio proceso Java independiente.
- El proceso Ejecutor es responsable de ejecutar la tarea de la aplicación (es decir, la unidad básica de computación distribuida).
- Los procesos ejecutores pueden mantener el estado y reutilizarse durante la vida útil de la aplicación. Esto permite que los datos se compartan de manera eficiente entre tareas.
2. Tarea
- La tarea es una unidad de trabajo en la aplicación Spark. Es un cálculo sobre una partición del RDD.
- Cada tarea es una unidad informática independiente y se ejecuta en un cierto subproceso de Ejecutor