Apache Spark SQL 提供了一组强大的 API 用于结构化数据的处理和分析。比如 DataFrame API
DataFrame API:DataFrame 是 Spark SQL 中的核心数据结构,它是一个分布式的带有命名列的数据集,类似于传统数据库表或 Pandas 数据帧。DataFrame API 提供了多种操作和转换方法,包括选择、过滤、分组、聚合、连接等,用于处理和分析数据。
示例:
// 选择列
df.select("name", "age")
// 过滤数据
df.filter(df("age") >= 18