Implementación de clasificación secundaria en Spark

La segunda clasificación es ordenar primero por el primer campo y luego ordenar las filas con el mismo primer campo de acuerdo con el segundo campo, preste atención a no destruir el resultado de la primera clasificación

object Demo02 {
    
    
  def main(args: Array[String]): Unit = {
    
    
  //控制日志输出
    Logger.getLogger("org").setLevel(Level.ERROR)
    val conf = new SparkConf().setAppName("twosort").setMaster("local")
    val sc = new SparkContext(conf)

    //二次排序 (第一列正序,第二列倒序)
    val file = sc.textFile("E:/spark笔记/day00/sparkData/twosort.txt")

    //排序并二次排序
    val res1 = file.map(line => {
    
    
      val splited = line.split(" ")
      (splited(0), splited(1))
    }).groupByKey()
      .sortByKey(true)
      .map(x => (x._1, x._2.toList.sortWith(_ > _)))  
      //(70,List(54, 57, 58, 58))
//      .foreach(println(_))

    //按照二位数组形式输出
    val res3 = res1.flatMap {
    
     x =>
      //List(54, 57, 58, 58)  数组长度
      val length01 = x._2.length
      val res2 = new Array[(String, String)](length01)
      //下标 0,1,2,3
      for (i <- 0 until length01) {
    
    
        res2(i) = (x._1, x._2(i))
      }
      res2
    }
    res3.foreach(println(_))
    sc.stop()

  }

}

Datos:
20 21
50 51
50 54
60 51
60 53
70 58
60 61
70 54
70 57
70 58
10 55
Resultado de salida:
(10,55)
(20,21)
( 50,54 )
(50,51)
(60, 61)
(60,53)
(60,51)
(70,58)
(70,58)
(70,57)
(70,54)

Supongo que te gusta

Origin blog.csdn.net/Poolweet_/article/details/108483148
Recomendado
Clasificación