Introducción a MapReduce
MapReduce es un modelo de programación, un método de programación y una teoría abstracta.
Concepto de HILO
- Administrador de recursos
- ApplicationMaster
- NodeManager
Administrador de recursos
- Asignar y programar recursos
- Iniciar y monitorear ApplicationMaster
- Monitor NodeManager
ApplicationMaster
- Solicite recursos para programas de tipo MR y asígnelos a tareas internas.
- Responsable de la segmentación de datos.
- Supervisar la ejecución de tareas y la tolerancia a fallos
NodeManager
- Administra los recursos de un solo nodo
- Procesar comandos desde ResourceManager
- Procesar comandos desde ApplicationMaster
Modelo de programación MapReduce
- Ingrese un archivo grande y divídalo en varios fragmentos después de pasar por Split
- Cada fragmento de archivo es procesado por una máquina separada, este es el método Mao
- Se resume la estructura calculada por cada máquina y se obtiene la estructura final. Este es el método Reducir
