Artículo de referencia
Después de leer "Chispa rápido análisis de grandes volúmenes de datos" del libro de animales, probablemente aprendido api chispa común, pero el libro no da todos los casos detallados del API, y ahora la última versión de la chispa se ha elevado a 2.4.5, los animales en el libro versión chispa sigue atascado en la versión 1.2.0, por lo que es este artículo, en la última prueba de la versión 2.4.5 API comúnmente usados
Debido a las características chispa de la evaluación perezosa, RDD sólo cuando se utiliza la primera operación de la acción que realmente va a ser calculada, así que voy en el contenido del artículo "API acción de la conversión" y "API Operación Acción" en dos partes, y porque par RDD (RDD elementos en los pares clave-valor) api parte más especiales, así que voy a escribir un artículo separado
Este artículo describe la operación de conversión de sólo el API, la primera de cinco api RDD es una operación de conversión para su posterior conversión api contra dos operaciones RDD
medio ambiente
+ + 2.4.5 idea escala chispa 02:11:12
mapa
Objetivo: La función RDD a cada elemento en el valor de retorno contiene el nuevo RDD
1 val LISTAPRUEBA = Lista (1, 2, 3, 3 ) 2 val = testRdd sc.parallelize (LISTAPRUEBA) 3 testRdd.map (ELE => ele ele *) .foreach (ELE => print (s "$ ele") )
val TestList = Lista ( 1 , 2 , 3 , 3 )
val testRdd = sc . paralelizar ( TestList )
testRdd . mapear ( ELE => ele ele * ). foreach ( ELE => print ( s " $ ele " ))