[] Qiang modo de operación de polimerización maestro usado en MongoDB MapReduce

Mira el video.

[] Qiang modo de operación de polimerización maestro usado en MongoDB MapReduce

polimerización MapReduce se puede calcular lógica muy compleja, muy flexible, pero, MapReduce es muy lento, no debe ser utilizado para el análisis de datos en tiempo real. MapReduce puede ser paralelo de ejecución en varios servidores, el servidor sólo es responsable de completar cada parte wordload, y finalmente enviado a la fusión wordload servidor maestro, calcular el conjunto de resultados finales, se devuelve al cliente.

En el caso de una gran cantidad de datos devueltos por una consulta usando MongoDB, hacer algunas de las más complejas operaciones estadísticas y de agregación no llevar mucho tiempo, pueden ser implementados en MongoDB MapReduce.


MapReduce es una herramienta de agregación de datos muy flexible y potente. Su ventaja es que la polimerización puede ser una tarea en una pluralidad de tareas más pequeñas, asignado al procesamiento multi-paralelo en el servidor. MongoDB también proporciona MapReduce, por supuesto, el lenguaje de consulta es sin duda JavaScript.


En MongoDB MapReduce principalmente en las siguientes etapas:

  • Mapa: Mapa para el funcionamiento de un conjunto de cada documento

  • Baraja: Los documentos de los grupos clave, y genera una serie (> = 1) para cada uno de los diferentes tabla de valores de clave (lista de valores).

  • Reducir: el procesamiento de elementos de valor en la tabla, hasta que el valor de un solo elemento en la tabla. tabla Valor entonces volver al proceso de reproducción aleatoria, el proceso de bucle hasta que cada uno de los corresponde tabla de claves a un solo valor, y este valor es sólo un elemento de mesa, que es el resultado de la MR.

  • Finalizar: Este paso no es necesario. Después de que el resultado final obtenido MR y, a continuación, procesado algunos datos "poda" en la naturaleza.

Publicado 64 artículos originales · ganado elogios 0 · Vistas 4475

Supongo que te gusta

Origin blog.csdn.net/zhaoyuqiang/article/details/105160309
Recomendado
Clasificación