spark笔记之DataFrame常用操作

3.1. DSL风格语法

DataFrame提供了一个领域特定语言(DSL)来操作结构化数据。

下面是一些使用示例

(1)查看DataFrame中的内容,通过调用show方法

personDF.show
spark笔记之DataFrame常用操作
(2)查看DataFrame部分列中的内容

查看name字段的数据

personDF.select(personDF.col("name")).show
spark笔记之DataFrame常用操作
查看name字段的另一种写法

personDF.select("name").show
spark笔记之DataFrame常用操作
查看 name 和age字段数据

personDF.select(col("name"), col("age")).show
spark笔记之DataFrame常用操作
(3)打印DataFrame的Schema信息

personDF.printSchema
spark笔记之DataFrame常用操作
(4)查询所有的name和age,并将age+1

personDF.select(col("id"), col("name"), col("age") + 1).show
spark笔记之DataFrame常用操作
也可以这样:

personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show
spark笔记之DataFrame常用操作
(5)过滤age大于等于25的,使用filter方法过滤

personDF.filter(col("age") >= 25).show
spark笔记之DataFrame常用操作
(6)统计年龄大于30的人数

personDF.filter(col("age")>30).count()
spark笔记之DataFrame常用操作
(7)按年龄进行分组并统计相同年龄的人数

personDF.groupBy("age").count().show
spark笔记之DataFrame常用操作
3.2. SQL风格语法

 DataFrame的一个强大之处就是我们可以将它看作是一个关系型数据表,然后可以通过在程序中使用spark.sql() 来执行SQL语句查询,结果返回一个DataFrame。

如果想使用SQL风格的语法,需要将DataFrame注册成表,采用如下的方式:

personDF.registerTempTable("t_person")

(1)查询年龄最大的前两名

spark.sql("select * from t_person order by age desc limit 2").show
spark笔记之DataFrame常用操作
(2)显示表的Schema信息

spark.sql("desc t_person").show
spark笔记之DataFrame常用操作
(3)查询年龄大于30的人的信息

spark.sql("select * from t_person where age > 30 ").show

spark笔记之DataFrame常用操作

猜你喜欢

转载自blog.51cto.com/14473726/2449621