Saprk环境搭建① local模式下初体验

下载安装包

下载地址：http://spark.apache.org/downloads.html

 ​​​​​​上传并解压 

 tar zxvf spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C ../servers/

解压目录说明：

bin	可执行脚本
conf	配置文件
data	示例程序使用数据
examples	示例程序
jars	依赖jar包
python	pythonApi
R	R语言API
sbin	集群管理命令
yarn	整合yarn需要的东东

启动spark-shell

cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin/
        ./spark-shell

spark-shell说明

1.直接使用./spark-shell 

    表示使用local 模式启动，在本机启动一个SparkSubmit进程

扫描二维码关注公众号，回复： 10723006 查看本文章

2.还可指定参数 --master，如：

    spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务

    spark-shell --master local[*] 表示使用当前机器上所有可用的资源

3.不携带参数默认就是

    spark-shell --master local[*]

4.后续还可以使用--master指定集群地址，表示把任务提交到集群上运行，如

    ./spark-shell --master spark://node01:7077 

5.退出spark-shell

    使用 :quit

初级体验

vim /opt/aa.txt

hello me you her 
hello you her
hello her 
hello 

val textFile = sc.textFile("file:///opt/aa.txt")
val counts = textFile.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
scala> counts.collect//收集结果
res0: Array[(String, Int)] = Array((hello,4), (me,1), (you,2), (her,3))