Windows下的搭建Hadoop、Spark和Scala编程环境
本文是基于Windows 10系统环境，搭建Hadoop、Spark和Scala编程环境
- Windows 10
- IntelliJ
- scala-2.11.12
- spark-2.4.3-bin-hadoop2.7
- hadoop-2.7.1
一、JDK安装
(1) 下载jdk
首先需要安装JDK，jdk-8u221-windows-x64.exe
然后双击安装到指定的目录，本文安装到 C:\Program Files\Java\jdk1.8.0_181，无论读者安装到哪个目录下，请记住该目录，在配置环境变量时，会用到该目录
(2) 配置环境变量
- 新建一个系统变量 JAVA_HOME
- 然后编辑系统变量 PATH
- 新建一个系统变量 CLASSPATH
(3) 验证java安装是否成功
- 打开的cmd命令行窗口下运行下面命令，查看是否设置成功。
java -version
二、scala安装
(1) 下载scala
- 首先下载scala，scala-2.11.12.msi
然后双击安装到指定的目录，本文安装到 D:\Program\scala，无论读者安装到哪个目录下，请记住该目录，在配置环境变量时，会用到该目录
(2) 配置环境变量
- 新建一个系统变量 SCALA_HOME
- 然后编辑系统变量 PATH
- 修改系统变量 CLASSPATH
(3) 验证scala安装是否成功
- 打开的cmd命令行窗口下运行下面命令，查看是否设置成功。
scala
三、Hadoop安装
(1) 下载Hadoop
- 使用管理员身份，去解压 hadoop-2.7.1.tar.gz，不使用管理员身份会出错
- 本文解压到了 D:\Program\hadoop\hadoop-2.7.1
(2) 配置环境变量
- 新建一个系统变量 HADOOP_HOME
- 然后编辑系统变量 PATH
(3) 下载winutils.exe文件
-
下载 winutils.exe
-
将下载好winutils.exe后，将这个文件放入到Hadoop的bin目录下，我这里是D:\Program\hadoop\hadoop-2.7.1
四、spark安装
(1) 下载spark
- 首先下载带有Hadoop版本的spark，spark-2.4.3-bin-hadoop2.7
- 下载后得到了大约200M的文件： spark-2.4.3-bin-hadoop2.7.tgz
(2) 解压spark安装包
- 使用管理员身份，去解压 spark-2.4.3-bin-hadoop2.7.tgz，不使用管理员身份会出错
- 并且需要注意的是，在Spark的文件目录路径名中，不要出现空格，类似于“Program Files”这样的文件夹名是不被允许的。
- 本文将Spark安装在以下的目录 D:\Program\spark
(3) 配置环境变量
- 然后编辑系统变量 PATH
(4) 验证spark安装是否成功
- 打开的cmd命令行窗口下运行下面命令，查看是否设置成功。
spark-shell
