Apache Spark Delta Lake 写数据使用及实现原理代码解析
Delta Lake 写数据是其最基本的功能,而且其使用和现有的 Spark 写 Parquet 文件基本一致,在介绍 Delta Lake 实现原理之前先来看看如何使用它,具体使用如下:
df.write.format("delta").save("/data/yangping.wyp/delta/test/")
//数据按照 dt 分区
df.write.format("delta").partitionBy("dt").save("/data/yangping.wyp/delta/test/")
// 覆盖之前的数据
df.write.format("delta").mode(SaveMode.Overwrite).save("/data/ya