Una función núcleo .Spark
Dos .Spark arquitectura básica
Tres .RDD relacionados
Figura I
(1) aplicación: 1
Una aplicación es una aplicación.
(2) trabajo: 1
①saveAsTextFile operación para la acción de la operación de división de trabajo acción, es un trabajo.
② Segmentación:
De adelante hacia atrás en busca de acción del operador, formó un encontrar un empleo
(3) Etapa: 2
①reduceByKey gran dependencia, de acuerdo con la etapa de división aleatoria operación, por lo que la siguiente etapa es de dos por puesto de trabajo.
(El número de etapa = número aleatorio 1)
② Segmentación:
Tipos Obtener aleatoria operador / a escala dependiente de la parte posterior, formando una divisoria se encuentra con una etapa de desconexión;
La última etapa se llama ResultStage, además de otra etapa se llama ShuffleMapStage.
③ Cada etapa puede contener una pluralidad de diferentes RDD, tales como tres RDD stage1;
④ una etapa en la que se pueden dividir en la ejecución de tareas múltiples (por defecto, cada partición sería una tarea)
⑤ Cada RDD puede especificar un número distinto de particiones, RDD en la figura Stage1 cuatro particiones, tres particiones STAGE2 en RDD
(4) tarea: 7 (stage1 etapa 4; etapa stage2 3)
①stage1 etapa, RDD cuatro particiones, de trabajo también cuatro; stage2 etapa, RDD tres particiones, tarea también tres.
② tarea = la suma del número total de una fase diferente de la tarea;
Cada etapa en la tarea = número de Número de partición última decisión en esta etapa RDD
Figura II
(1) puede ser de entrada a una pluralidad de archivos almacenados en el HDFS, cada archivo contiene un número de bloques, llamado Block.
(2) Spark Cuando estos archivos se leen como una entrada, los datos se analiza de acuerdo con el formato específico correspondiente a la InputFormat, se combina típicamente en una pluralidad de entrada fragmentos de bloque, llamado InputSplit , nota que el archivo no puede abarcar InputSplit
