spark复习笔记(4):RDD变换

一、RDD变换

  1.返回执行新的rdd的指针,在rdd之间创建依赖关系。每个rdd都有一个计算函数和指向父rdd的指针

  2.Spark是惰性的,因此除非调用某个转换或动作,否则不会执行任何操作,否则将触发工作创建和执行。

  3.map()是对每个元素进行变换,应用变换函数;而mapPartitions()是对每个分区进行应用变换,输入的是一个迭代器Iterator,返回的是一个新的迭代器,可以对整个分区进行函数的处理。

猜你喜欢

转载自www.cnblogs.com/bigdata-stone/p/9893140.html