SparkSQL实现行转列与列转行

例如目前有一张表dlzz:
TG_ID表示变压器台区ID,DATA_DATE表示时间,I1、I2和I3分别表示三个不同时间点的电流值
在这里插入图片描述
SparkSQL实现列转行

	val frame: DataFrame = spark.read.format("jdbc")
                            .option("url", "jdbc:mysql://localhost:3306/test11")
                            .option("dbtable", "dlzz")
                            .option("user", "root")
                            .option("password", "123")
                            .load()
    frame.createTempView("frame")


    val result = spark.sql(
      """
        |select TG_ID,DATA_DATE,'I1' as DL,I1 as num from frame union all
        |select TG_ID,DATA_DATE,'I2' as DL,I2 as num from frame union all
        |select TG_ID,DATA_DATE,'I3' as DL,I3 as num from frame
      """.stripMargin)

    result.show()

结果展示:
在这里插入图片描述
SparkSQL实现行转列
现有表dlzz_copy如下:
TG_ID代表的是变压器的台区ID,DATA_DATE表示日期,DY表示时间点,num代表电压值
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019091813005143.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ1NTM4OA==,size_16,color_FFFFFF,t_70

    val frame: DataFrame = spark.read.format("jdbc")
                            .option("url", "jdbc:mysql://localhost:3306/test11")
                            .option("dbtable", "dlzz_copy")
                            .option("user", "root")
                            .option("password", "123")
                            .load()
    frame.createTempView("frame")

    frame.groupBy("TG_ID","DATA_DATE").pivot("DY").sum("num").show()

结果展示:
在这里插入图片描述

发布了68 篇原创文章 · 获赞 4 · 访问量 7357

猜你喜欢

转载自blog.csdn.net/weixin_44455388/article/details/100978048