Spark中MapPartition和Map的区别

1、map()：每次处理一条数据

2、mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后，原 RDD 中分区的
数据才能释放，可能导致 OOM。

开发指导：当内存空间较大的时候建议使用 mapPartition()，以提高处理效率。