版权声明：本文为博主原创文章，未经博主允许不得转载（需要转载联系QQ:787824374)！！！ https://blog.csdn.net/qq_19107011/article/details/86085354
前言
这篇博客是在同事的帮忙下完成的，这里我做一个记录，感谢牛逼的同事一波先。哈哈。
本篇博客目的是指导搭建一个Spark的调试环境，在Win10下面。
本人使用的开发工具是IDEA，博客里面用的的所有依赖包会在博客后面分享给需要的朋友，希望能帮助你，跨好大数据入门的一步。
准备工作
为了搭建Spark的调试环境，我们下面需要准备一些工具:
- hadoop-2.8.5.tar（Spark需要依赖于Hadoop）
- scala-2.11.12
- winutils-master（hadoop不可以直接在Win下运行，所以需要这个工具）
- IDEA 2018
- jdk1.8、maven等基础环境
下载安装包
-
下载Spark
我们知道Spark的启动需要依赖于Hadoop，通过官方的说明，可以知道它是在Hadoop对应的版本上面进行构建的。
我们先到Spark官网看看，然后选择我们需要的Spark版本。
我下载spark-2.4.0-bin-hadoop2.7这个版本。根据官网提供的信息，这个Spark版本，构建在Hadoop2.7之后的版本，并且需要Scala版本2.11
-
下载Scala
根据我们Spark的版本，我们到Scala官网下载2.11.12这个Scala SDK版本
-
下载Hadoop
接下来，我们需要到Hadoop官网下载，对应版本的Hadoop.
-
下载winutils-master
由于在win下不可以运行hadoop，虽然我们下载了Hadoop的软件包，还是不可以直接使用。
为了解决这个问题，我们需要额外下载一个东西winutils-master。
然后把里面hadoop-2.8.3\bin里面的文件替换到我们之前hadoop源码包的bin目录下。
环境变量的配置
软件包已经下载完成了，我们开始进行环境变量的配置！
环境变量的配置中，我们需要把环境变量配置在系统变量里面。
如果配置在用户变量里面，当管理员运行用户运行项目的时候，读取不到我们配置的用户变量。
具体的配置说明：
JAVA_HOME=C:\Program Files\Java\jdk1.8.0_181
SPARK_HOME=D:\code\bigData\spark-2.4.0-bin-hadoop2.7
HADOOP_HOME=D:\code\bigData\hadoop-2.8.5
SCALA_HOME=D:\code\bigData\scala-2.11.12
启动Spark
命令行使用命令spark-shell，过一会儿按下回车键。
出现如下界面。
spark在win下启动成功，spark web UI此时也才可以正常访问！！
启动Spark Example进行调试
下载Spark源码
我们需要到github下载spark源代码。
我们选择最新的分支2.4，使用git下载到本地。
git clone https://github.com/apache/spark.git
由于项目是使用Maven构建的，所以我们可以先配置阿里镜像源，加快我们项目的构建速度，maven的setting.xml文件，mirrors节点下，添加如下配置：
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
然后使用idea打开源码下面的example项目。（idea需要安装Scala插件，请自行安装！）
修改pom文件的scope
运行项目的时候如果scope为provided会遇到下面的异常
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
at org.apache.spark.examples.SparkPi$.main(SparkPi.scala:11)
at org.apache.spark.examples.SparkPi.main(SparkPi.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 2 more
解决方法是修改pom.xml文件全局替换provided为compile
补充依赖包
此时idea运行项目，看看情况
object SparkPi {
def main(args: Array[String]) {
val spark = SparkSession
.builder
.master("local[1]")//我们spark环境是在本地，所以设置local模式
.appName("Spark Pi")
.getOrCreate()
val slices = if (args.length > 0) args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
val count = spark.sparkContext.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x*x + y*y <= 1) 1 else 0
}.reduce(_ + _)
println(s"Pi is roughly ${4.0 * count / (n - 1)}")
spark.stop()
}
}
出现了下面的异常
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
19/01/09 10:20:29 INFO SparkContext: Running Spark version 3.0.0-SNAPSHOT
Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/collect/Maps
...
根据异常提示（或者其他google common的错误），我们在pom.xml文件添加依赖包。
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>18.0</version>
<scope>compile</scope>
</dependency>
设置Scala 的SDK
安装依赖包以后，会看到另外一个异常。
"C:\Program Files\Java\jdk1.8.0_181\bin\java.exe" "-javaagent:D:\soft\idea\IntelliJ IDEA 2018.2\lib\idea_rt.jar=50319:D:\soft\idea\IntelliJ IDEA 2018.2\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_181\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\jaccess.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\jfxrt.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\localedata.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\nashorn.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunec.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunjce_provider.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunmscapi.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunpkcs11.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\zipfs.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\javaws.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jce.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jfr.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jfxswt.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jsse.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\management-agent.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\plugin.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\resources.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\rt.jar;D:\code\bigData\spark\examples\target\scala-2.12\classes;C:\Users\win 10\.m2\repository\org\apache\orc\orc-core\1.5.4\orc-core-1.5.4-nohive.jar;C:\Users\win 10\.m2\repository\org\apache\orc\orc-shims\1.5.4\orc-shims-1.5.4.jar;C:\Users\win 10\.m2\repository\io\airlift\aircompressor\0.10\aircompressor-0.10.jar;C:\Users\win 10\.m2\repository\org\apache\orc\orc-mapreduce\1.5.4\orc-mapreduce-1.5.4-nohive.jar;C:\Users\win 10\.m2\repository\commons-lang\commons-lang\2.6\commons-lang-2.6.jar;C:\Users\win 10\.m2\repository\commons-codec\commons-codec\1.10\commons-codec-1.10.jar;C:\Users\win 10\.m2\repository\com\github\scopt\scopt_2.12\3.7.0\scopt_2.12-3.7.0.jar;C:\Users\win 10\.m2\repository\com\google\guava\guava\18.0\guava-18.0.jar;C:\Users\win 10\.m2\repository\com\google\collections\google-collections\1.0\google-collections-1.0.jar" org.apache.spark.examples.SparkPi
Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Seq
at org.apache.spark.examples.SparkPi.main(SparkPi.scala)
Caused by: java.lang.ClassNotFoundException: scala.collection.Seq
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 1 more
此时我们，需要进行Scala的SDK设置。
设置sdk以后，还出现了新的问题
Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
at org.apache.spark.internal.config.ConfigBuilder.<init>(ConfigBuilder.scala:177)
at org.apache.spark.internal.config.Tests$.<init>(Tests.scala:24)
at org.apache.spark.internal.config.Tests$.<clinit>(Tests.scala)
at org.apache.spark.util.Utils$.isTesting(Utils.scala:1851)
at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$assertOnDriver(SparkSession.scala:1085)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:915)
at org.apache.spark.examples.SparkPi$.main(SparkPi.scala:32)
at org.apache.spark.examples.SparkPi.main(SparkPi.scala)
Process finished with exit code 1
这个是scala版本错误！！
搜索发现依赖的scala版本确实，不一致
那好吧，我们修改scala的sdk试试
重新运行项目，发现正常了，所以我们没有用我们下载的scala，sdk使用IDEA插件重新下了一个2.12.8的版本。（这里和官方说的，也就是我们最上面分析的有点出入哦）
运行example例子
经过了重重修改终于可以正常运行了！！
安装包分享
链接：https://pan.baidu.com/s/1ZAwjeqXbEtDIMOKSTtcyxQ
提取码：hp1k
