Modo local integrado en el entorno Spark (no se requiere configuración de fábrica)

instalación

1. Descarga el paquete de instalación
   
   

2. Sube y descomprime el paquete de instalación

tar -zxvf spark-2.4.7-bin-hadoop2.6.tgz  

3. Modificar permisos

chown -R root /export/server/spark-2.4.7-bin-hadoop2.6
chgrp -R root /export/server/spark-2.4.7-bin-hadoop2.6

4. Crea una conexión suave

ln -s /export/server/spark-2.4.7-bin-hadoop2.6 /export/server/spark

prueba

1. Iniciar la ventana interactiva de Spark

/export/server/spark/bin/spark-shell

2. Prueba WordCount de Spark

1.准备文件
vim /root/words.txt
添加以下内容：
hello me you her
hello me you
hello me
hello

2.执行WordCount
val textFile = sc.textFile("file:///root/words.txt")
val counts = textFile.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _)
counts.collect

resultado: