comienzo de hadoop
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons
¿Para qué se utiliza el hilo?
Gestionar recursos
El mecanismo operativo del hilo:
YARN proporciona sus servicios principales a través de dos tipos de demonios de larga ejecución:
- Un administrador de recursos que administra el uso de recursos en el clúster (administrador de recursos)
- Un administrador de nodos que se ejecuta en todos los nodos del clúster y puede iniciar y monitorear contenedores
Los contenedores se utilizan para ejecutar procesos de aplicaciones específicas y cada contenedor tiene límites de recursos (memoria, CPU, etc.).
Un contenedor puede ser un proceso Unix o un cgroup de Linux, según la configuración de YARN .
La siguiente figura describe cómo YARN ejecuta una aplicación.
Proceso:
1. El cliente envía un trabajo a hilo y primero encuentra ResourceManager para asignar recursos
2. ResourceManager abre un contenedor y ejecuta un administrador de aplicaciones en el contenedor.
3. El administrador de aplicaciones busca un administrador de nodos para iniciar un contenedor , ejecuta el maestro de aplicaciones en el contenedor y el maestro de aplicaciones calcula cuántos recursos se necesitan
4. El maestro de la aplicación solicita al administrador de la aplicación (Yarn) los recursos necesarios para ejecutar la tarea.
El programador de recursos envía el paquete de recursos al maestro de la aplicación
6. El maestro de la aplicación asigna los recursos adquiridos a cada administrador de nodos , incluido el administrador de nodos que actualmente ejecuta el maestro de la aplicación.
7. Cada administrador de nodos obtiene tareas y recursos y comienza a ejecutar la tarea del mapa.
8. Una vez finalizada la ejecución de la tarea de mapa, comience a ejecutar la tarea de reducción.
9. La tarea de mapear y reducir la tarea retroalimenta los resultados de la ejecución al maestro de la aplicación
10. El maestro de la aplicación retroalimenta los resultados de la ejecución de la tarea al administrador de la aplicación.
