在本机IDEA跑Spark时环境安装,Windows环境下配置Hadoop环境

1、IDEA安装scala插件
2、下载scala sdk
在这里插入图片描述
3、配置scala环境变脸
在这里插入图片描述
4、在IDEA中的 Project Structure 的 Global Libraries 中添加 scala sdk
5、在pom文件添加依赖(注意这里3.0.0版本,因为我hadoop是3.0.0版本,必须保持一致)

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>3.0.0</version>
</dependency>

6、安装hadoop(我装的3.2.2的,随意,后面会把bin替换了)
在这里插入图片描述
7、配置hadoop环境变量

在这里插入图片描述
在这里插入图片描述
8、hadoop在windows上不能直接用,下载winutils
在这里插入图片描述
9、用winutils中某一版本的bin(我用的3.0.0)替换掉刚才下载的3.2.2版本的hadoop的bin
10、修改 C:\hadoop-3.2.2\etc\hadoop\hadoop-env.cmd
在这里插入图片描述
11、将 C:\hadoop-3.2.2\bin 中的 hadoop.dll 文件copy一份到 C:\Windows\System32中
12、可以运行了
在这里插入图片描述
在这里插入图片描述
注意:spark 版本 必须与 hadoop 版本一致,也就是3.0.0

猜你喜欢

转载自blog.csdn.net/henulmh/article/details/127433692