用spark写wordcount案例

用spark写wordcount案例
大体流程
读取本地数据 计算完将结果写在本地 .collect().foreach().println

• 1.创建一个SparkContext(spark的本地模式环境)
• 2.创建RDD(包工头)
• 3.调用RDD的transformation(转换)方法
• 4.调用Action(行动)
• 5.释放资源
  代码:

//创建spark环境:
val conf: SparkConf = newSparkConf().setAppName(this.getClass().getSimpleName()).setMaster("local[*]")
  val sc = new SparkContext(conf)
  val lines: RDD[String] = sc.textFile("数据的路径")
//一行处理数据
lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(x=>{(x._1,x._2.map(_._2).sum)}).sortBy(-_._2).foreach(println)
    sc.stop()