Spark的shuffle的Shuffle read和shuffle write过程

版权声明：版权声明中 https://blog.csdn.net/lds_include/article/details/89278063

Spark的shuffle的Shuffle read和shuffle write过程

• 在发生shuffle的过程中，会发生shuffle write和shuffle read。

• shuffle write：发生在shuffle之前，把要shuffle的数据写到磁盘

  • 为什么：为了保证数据的安全性，避免占用大量的内存

• shuffle read：发生在shuffle之后，下游RDD读取上游RDD的数据的过程