由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。
安装java
安装oracle下的jdk，我安装的是jdk 1.8的64位，这里必须安装64位的，是为了和hadoop对应，全部按照默认选项进行安装。安装完后配置环境变量。
新建JAVA_HOME为C:\Program Files\Java\jdk1.8.0_161 视自己安装路劲而定
新建CLASSPATH为%JAVA_HOME%\lib
在系统变量Path下添加%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin
安装hadoop
hadoop安装请参考：http://blog.csdn.net/luanpeng825485697/article/details/79420532
如果你成功安装了hadoop，证明你也成功安装了jdk，配置了java环境变量。
安装Scala
下载地址：http://www.scala-lang.org/download/
我们下载使用scala-2.12.4.msi
配置scala的环境变量（2.12.4以上版本只需要配置下面的部分就行）
SCALA_HOME为C:\Program Files (x86)\scala
CLASSPATH添加%SCALA_HOME%\bin;
Path中添加%SCALA_HOME%\bin;
检测scala成功安装
在cmd窗口中，输入 scala，然后回车，如环境变量设置ok，你应该能看到这些信息。
安装spark
下载地址：http://spark.apache.org/downloads.html
spark版本是2.3，对应的hadoop版本是2.7
（下载spark代码的时候直接下载预编译版本的）
解压下载的文件，假设解压 目录为：G:\spark-2.3.0-bin-hadoop2.7。
配置spark的环境变量
SPARK_HOME为G:\spark-2.3.0-bin-hadoop2.7
Path添加%SPARK_HOME%\bin
1
2
平时的语言打开我们还是习惯在windows下，所以下面的开发环境我们设置为windows下。
java环境下Spark开发环境搭建
由于spark是基于scala语言的，所以如果要想看源代码，需要安装scala的eclipse插件。
安装scala的eclipse插件
在eclipse中帮助-安装新软件-添加。
地址：http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site
在eclipse环境中直接新建java工程，将D:\spark-1.6.0-bin-hadoop2.6\lib下的spark-assembly-1.6.0-hadoop2.6.0.jar添加到工程中就可以了。
Python环境下Spark开发环境搭建
将spark目录下的pyspark文件夹（G:\spark-2.3.0-bin-hadoop2.7\python\pyspark）复制到python安装目录G:\anaconda\Lib\site-packages里
在cmd命令行下运行pyspark，然后运行pip install py4j安装相关库。当环境JAVA_HOME中含有多个值时可能会报错，尤其当版本不对应时。
安装pycharm开始编程吧。
scala环境下spark搭建
spark原生语言时scala，所以当然时使用scala语言开发最好。编辑器推荐Intellij IDEA
我这里下载的2018.1.4的版本，破解方式，在第一次打开时，选择激活网址为
http://idea.congm.in
http://idea.toocruel.net
打开Intellij IDEA，先要安装scala 插件，在file-setting弹出界面中选择plugins，然后搜索scala，在搜索出的内容中选中scala插件。
jdea汉化：文件下载地址： http://pan.baidu.com/s/1slS9ZMP gp79
1、在本站下载安装IntelliJ IDEA 2017
2、将.\IntelliJ IDEA 2017\lib目录下的resources_en.jar文件复制出来，并更名为resources_cn.jar。
3、双击打开resources_cn.jar(注意是打开而不是解压出来)，将下载的汉化包zh_CN目录下的所有文件拖到刚才打开的resources_cn.jar文件内的messages目录中，并保存。
4、将resources_cn.jar文件复制回.\IntelliJ IDEA\lib目录。或是直接讲汉化包里面的resources_cn.jar复制到.\IntelliJ IDEA\lib目录即可.
5、汉化完毕，重新打开IntelliJ IDEA 2017就可以显示中文。 如果打开后显示乱码，请先删除resources_cn.jar，然后打开IntelliJ IDEA，在菜单上依次选择 File -> Settings -> Appearance&Behavior -> Appearance -> 选中Override default fonts by(not recommended) Name: Microsoft YaHei (选择任意中文字体) 然后将resources_cn.jar 复制到 .\lib 目录，重新打开IntelliJ IDEA就能正常显示中文了哦！