4 Spark环境搭建和使用方法

一、安装Spark

在windows中使用VirtualBox安装Ubuntu

在Linux上安装Java、Hadoop、Spark

二、在spark-shell中运行代码

1.四种模式

（1）local

（2）独立集群

（3）yarn

 

（4）MESOS

举例：

启动spark shell成功后在输出信息的末尾可以看到"scala >"的命令提示符

三、编写Spark独立应用程序

第一步:

（1）sbt

步骤一：安装sbt

步骤2：用sbt打包

需要在应用程序的目录下构建simple.sbt文件，

（2）安装Maven 

在写本地文件的时候一定是file:///，

第二步：

四、Spark集群环境搭建

五、在集群上运行Spark应用程序