3 principios simples de MapReduce

 

Tarea de mapeo (segmentación y mapeo)

Reducir tareas (reordenamiento, reducción)

 

1 El trabajo se divide en varias tareas y luego se ejecuta en varios nodos de datos del clúster.

2 La responsabilidad de JobTracker es coordinar actividades para programar tareas para que se ejecuten en diferentes nodos de datos.

3 La ejecución de una sola tarea es luego procesada por TaskTracker, que es parte del trabajo de ejecución, en cada nodo de datos.

4 La responsabilidad de TaskTracker es enviar informes de progreso a JobTracker.

5 Además, TaskTracker envía periódicamente información de señal de "latido" a JobTracker para informar al sistema de su estado actual.

6 De esta manera, JobTracker puede realizar un seguimiento del progreso general de cada trabajo. En el caso de una tarea fallida, JobTracker puede reprogramarla en un TaskTracker diferente.

 

Link de referencia:

https://www.yiibai.com/hadoop/intro-mapreduce.html

Supongo que te gusta

Origin blog.csdn.net/qq_42198024/article/details/108059318
Recomendado
Clasificación