论第一次运行spark代码遇到的问题

前提你已经安装好了scala插件了

我是创建Scala工程 没试过maven工程

问题一：创建scala工程一直卡在build

原因：创建Scala工程的时候应该选择IDEA，而不是obt:

尝试复制运行以下代码：

import org.apache.spark.{SparkConf, SparkContext}
object Main {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("MaxAndMin").setMaster("local")
    val sc = new SparkContext(conf)
    sc.setLogLevel("ERROR")
    val lines = sc.textFile("D:\\SprkFile\\input.txt", 2)
    val result = lines.filter(_.trim().length>0).map(line => ("key",line.trim.toInt)).groupByKey().map(x => {
      var min = Integer.MAX_VALUE
      var max = Integer.MIN_VALUE
      for(num <- x._2){
        if(num>max){
          max = num
        }
        if(num<min){
          min = num
        }
      }
      (max,min)
    }).collect.foreach(x => {
      println("max\t"+x._1)
      println("min\t"+x._2)
    })
  }
}

问题2：spark.conf 报错

原因：1、没有引入包（我代码中已经引入包了） 2、没有下载spark相关包

解决参考自：博客

如何下载包？

我是下载的这个：spark-2.4.5-bin-hadoop2.7.tgz

spark官网

选择第二个：

自此，问题全部解决：运行结果：（对了，记得在代码中相关路径下创建文件）