ubuntu下Hadoop与Spark开发环境安装

ubuntu下Hadoop与Spark开发环境安装

环境：

    Ubuntu16.04.2 64位

    JDK 1.8.0_171

    scala-2.10.6

    spark-1.6.0  hadoop2.6

    IntelliJ IDEA  2018.1.4

注意各软件的版本兼容性问题

IntelliJ IDEA对应scala：在网站https://plugins.jetbrains.com/plugin/1347-scala可查看到scala相对应的版本，然后进行下载即可

1． 安装jdk：

官网 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

在/usr/lib下新建个java文件夹,把下载的jdk放在这个文件夹里

解压 tar –zxvf  jdk-8u171-linux-x64.tar.gz

2设置环境变量，执行

                  $sudo vim /etc/profile

                  在该文件的后面加上下面的内容：

                  export JAVA_HOME=/usr/lib/java/ jdk1.8.0_171

                  export JRE_HOME=${JAVA_HOME}/jre

                  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

                export PATH=.:${JAVA_HOME}/bin:$PATH

3.执行命令 $source /etc/profile

          4.测试，执行 $java -version

2． 安装scala

官网http://www.scala-lang.org/download/2.10.6.html

下载：scala-2.10.6.tgz

安装：1. 在/usr/lib下新建个scala文件夹,把下载的jdk放在这个文件夹里

解压 sudo tar –zxvf  scala-2.10.6.tgz

                  2.设置环境变量，执行

                  $sudo vim /etc/profile

                  在该文件的后面加上下面的内容：

                  export SCALA_HOME=/usr/lib/scala/scala-2.10.6

                export PATH=${SCALA_HOME}/bin:$PATH

3.执行命令 $source /etc/profile

          4.测试，执行 $scala -version

3． 下载spark安装包

官网：http://spark.apache.org/downloads.html

下载spark-1.6.0-bin-hadoop2.6.tgz并解压缩

安装：1. 在/usr/lib下新建个spark文件夹,把下载的jdk放在这个文件夹里

解压 sudo tar –zxvf  下载spark-1.6.0-bin-hadoop2.6.tgz

                  2.设置环境变量，执行

                  $sudo vim /etc/profile

                  在该文件的后面加上下面的内容：

                  export SPARK_HOME=/usr/lib/ spark/spark-1.6.0-bin-hadoop2.6

                export PATH=${SPARK_HOME}/bin:$PATH

3.执行命令 $source /etc/profile

          4.测试，执行 $spark-shell

4． 下载安装Intellij IDEA community版本并安装。安装时scala插件一并安装。

Ubuntu：命令行打开idea，进入软件包位置，输入：bin/idea.sh

官网：https://www.jetbrains.com/idea/download/#section=linux

安装：1.安装scala sdk。

FileàSettingsàPluginsà

直接在plugins里搜索Scala，然后安装即可，如果不具备上网环境，或网速不给力。也可以直接到http://plugins.jetbrains.com/plugin/?idea&id=1347手动下载插件的zip包，手动下载时，要特别注意版本号，一定要跟本机的intellij idea的版本号匹配，否则下载后无法安装。下载完成后，在上图中，点击“Install plugin from disk...”，选择插件包的zip即可。

         2.添加spark的jar包

         在IDE中File -> project Structure -> Libraries ->“+”， 在/usr/lib目录下，然后进入你安装spark时候解压的 spark-XXX-bin-hadoopXX下，在lib目录下，选择spark-assembly-XXX-hadoopXX.jar       

         3.添加scala的jar包

         在IDE中File -> project Structure -> Libraries ->“+”，然后选择scala安装的位置的lib文件夹，然后点击Apply，OK。

5． 导出jar包

1.配置

Intellij idea -->file -->project structure -->artifacts -->+ -->jar -->from ... --->main class选择主类 -->ok

(spark-assembly.jar包比较大，可以删除，大数据平台已经安装了) -->ok

2.jar包输出

build -->build artifacts -->build -->输出在out文件夹下的artifacts文件夹里