从Intellij IDEA开始第一个Spark程序

先前在Windows上倒腾了一份Scala的开发环境，然后换到Mac环境上，重新来了一遍，为了防止自己的再度忘记，记录在本博客中。

好，废话不说，开始。

1：Intellij IDEA的安装

习惯用Eclipse了，最近才开始使用Intellij IDEA，感觉功能还是很强大的；这里只讲述具体的安装，我安装的是community版本，2017.3.15的版本，最近更新的社区版本了。

下载地址

里面有windows版本和eclipse版本，我使用的是mac版本。

2：安装scala插件

这个花费了不少的时间，国内的网速实在太慢，下载地址放在此处，资源无法上传，大家只能自己下载了。

链接:https://pan.baidu.com/s/11jw27AnVwS8RfLebdU6ckw 密码:hb5i

具体操作情况如下：

如图所示，打开preference，点击Plugins，接着搜索scala，最新兼容版本是2017.3.11的scala，这个下载非常慢，所以点击从本地安装即可。

注意，这里安装的必须是压缩包，文件夹无法导入的。

安装之后，基本都会让重启的，重启一下即可。

3：开始第一个spark程序

重启之后，新建一个工程，看网上大多说的都是直接新建scala工程，我试了下，很多情况下都会导致运行配置搞不懂，因此自己想了个办法，新建了个Maven工程，如下：

这么新建一个工程之后，我们通过maven就可以很完美地启动一个类了。

点击之后，开始工程的新建：

接着，一路下去，一个maven工程就会创建完毕。

接着，就是我们真正编写一个新的spark工程的代码了。

通常来说，这个逻辑新建的maven工程，都会默认引入junit测试包，不用管它。

4：为我们的maven工程，导入sdk环境

这个环境，可以自己下载，然后让idea自动识别即可，我这边用的是sdk 2.11.0。

注意，是在Global Libraries内导入的Scala sdk。

5：这个导入完毕之后，基本环境就搭建完毕了，接下来，修改pom文件，增添我们的spark-core。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.yuzhao.yang</groupId>
  <artifactId>secondscala</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>secondscala</name>
  <url>http://maven.apache.org</url>
  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.2.0</version>
    </dependency>

  </dependencies>
</project>

6：如此配置文件之后，maven导入完毕，开始第一个scala程序。

package com.yuzhao.yang
import org.apache.spark.{SparkContext, SparkConf}
object AnotherTest {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("test").setMaster("local[4]")
    val sc = new SparkContext(conf)
    val rdd1 = sc.parallelize(List(1,2,3))
    print(rdd1.reduce(_+_)
  }
}

至此，一个成功的scala环境搭建完毕，可以展开你的spark之旅了。

从Intellij IDEA开始第一个Spark程序

猜你喜欢