Spark读取Parquet格式的数据为Dataframe

SaveMode指定文件保存时的模式:

  • OverWrite 覆盖
  • Append 追加
  • ErrorIfExists 如果存在就报错
  • Ignore 如果存在就忽略
	val spark = SparkSession.builder().master("local").appName("schema").getOrCreate()
    val dataFrame = spark.read.json("./data/json")

    //首先保存成parquet文件
    dataFrame.write.mode(SaveMode.Append).format("parquet").save("./data/parquet")

    //读取parquet文件
//    val df: DataFrame = spark.read.parquet("./data/parquet")
    val df: DataFrame = spark.read.format("parquet").load("./data/parquet")
发布了197 篇原创文章 · 获赞 245 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/qq_36299025/article/details/97817384