Spark的local模式环境搭建

简介: 部署模式=运行模式=Spark可以在那些情况下运行, Spark 框架编写的应用程序可以运行在本地模式（Local Mode）、集群模式（Cluster Mode）和云服务（Cloud），方便开发测试和生产部署。

• 1-local模式–实质上就是本地单机多线程的方式:
  
  本地模式LocalMode运行：启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。
  1)、方式一：local
  表示分配1Core CPU运行
  2）、方式二：local[2]
  表示分配K Core CPU，同时运行K个Task
  3）、方式三：local[*]
  表示获取物理机器CPU Core核数
  

Spark本地模式的安装:

1.上传安装包解压安装包:

解压软件包
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz
创建软连接，方便后期升级
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark
如果有权限问题，可以修改为root，方便学习时操作，实际中使用运维分配的用户和权限即可
chown -R root /export/server/spark-2.4.5-bin-hadoop2.7
chgrp -R root /export/server/spark-2.4.5-bin-hadoop2.7
//chgrp 允许普通用户改变文件所属的组为root

目录介绍:

2.运行Spark shell

开箱即用

直接启动bin目录下的spark-shell: 
进入Spark安装目录
cd /export/server/spark
##直接使用spark-shell,默认使用local[*]
bin/spark-shell
## 或
bin/spark-shell --master local[2]

3 spark-shell说明

1.直接使用./spark-shell 
表示使用local 模式启动，在本机启动一个SparkSubmit进程

2.还可指定参数 --master，如：
spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务
spark-shell --master local[*] 表示使用当前机器上所有可用的资源

3.不携带参数默认就是
spark-shell --master local[*]

4.后续还可以使用--master指定集群地址，表示把任务提交到集群上运行，如
./spark-shell --master spark://node01:7077,node02:7077

5.退出spark-shell
使用 :quit

• 监控页面 : http://node1:4040/jobs/