Scala练习03-数组函数解决Hive查询问题思路分析-查询“01“课程比“02“课程成绩高的学生的信息及课程分数

问题:查询"01"课程比"02"课程成绩高的学生的信息及课程分数
在这里插入图片描述

思路:

  • 分别导表,转为数组格式,数组的每个元素是一个元组的
    val score = Source.fromFile("本地路径").getLines().toArray.map(x => {
    
    
      var y = x.split("\t")
      (y(0).toInt, y(1).toInt, y(2).toInt)
    })
    val student = Source.fromFile("本地路径").getLines().toArray.map(x => {
    
    
      var y = x.split("\t")
      (y(0).toInt, y(1), y(2), y(3))
    })
  • 两表关联,这里使用collect方法
    score.map(x=>{
    
    
      student.collect({
    
    
        case i if i._1==x._1=>(i._2,x._2,x._3)
      })
    }).flatten.foreach(println(_))

在这里插入图片描述

  • 先把01和02课程筛选出来,然后在根据姓名分组,分组后得到一个Map,K是姓名,V是姓名对应的元组
  • 然后使用filter过滤,只保留V的元素数量为2的K(也就是保留学过01和02课程的人,只学过一个课程的不要);同时把两门课程相等的K也过滤掉不要。返回值的格式为Map(k=姓名,V=Array(元组))
    score.map(x=>{
    
    
      student.collect({
    
    
        case i if i._1==x._1=>(i._2,x._2,x._3)
      })
    }).flatten.filter(_._2<=2).groupBy(_._1).filter(_._2.length==2).
    filter(x=>x._2(0)._3!=x._2(1)._3).foreach(println(_))

在这里插入图片描述

  • 对V里的值进行处理:
  • 1先提取出学号课程信息并根据课程号进行排序;2再提取出成绩;3然后对数组里的两个元素(元组)的成绩信息进行比较得到一个true/false的结果。
  • 把该Map转成数组,使用map方法就是变形:主要目的是两个数组里的课程号和成绩信息通过zip组合起来
  • 再次通过map变形,把所有数据放在同一维度,然后直接遍历输出元组即可
    score.map(x=>{
    
    
      student.collect({
    
    
        case i if i._1==x._1=>(i._2,x._2,x._3)
      })
    }).flatten.filter(_._2<=2).groupBy(_._1).filter(_._2.length==2).
    filter(x=>x._2(0)._3!=x._2(1)._3).
      mapValues(x=>((x.map(y=>y._2).sortWith(_>_),x.map(y=>y._3)),x(0)._3>x(1)._3)).
      toArray.map(x=>(x._1,x._2._1._1.zip(x._2._1._2),x._2._2)).
      map(x=>(x._2.map(y=>(x._1,y._1,y._2,x._3)))).foreach(x=>x.foreach(println(_)))
  • 结果如下,这里把相反的结果也输出出来了,再次用filter过滤即可得到题目的结果,这里不做演示
    在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/xiaoxaoyu/article/details/112112529