Transformations转换算子 :
Transformations类算子是一类算子(函数)叫做转换算子,如map,flatMap,reduceByKey等。Transformations算子是延迟执行,也叫懒加载执行。
过滤符合条件的记录数,true保留,false过滤掉。
将一个RDD中的每个数据项,通过map中的函数映射变为一个新的元素。 特点:输入一条,输出一条数据。
先map后flat。与map类似,每个输入项可以映射为0到多个输出项。
随机抽样算子,根据传进去的小数按比例进行又放回或者无放回的抽样。
将相同的Key根据相应的逻辑进行处理。
作用在K,V格式的RDD上,对key进行升序或者降序排序。 |
Action行动算子:
Action类算子也是一类算子(函数)叫做行动算子,如foreach,collect,count等。Transformations类算子是延迟执行,Action类算子是触发执行。一个application应用程序中有几个Action类算子执行,就有几个job运行。
- Action类算子
返回数据集中的元素数。会在结果计算完成后回收到Driver端。
返回一个包含数据集前n个元素的集合。
first=take(1),返回数据集中的第一个元素。
循环遍历数据集中的每个元素,运行相应的逻辑。
将计算结果回收到Driver端。
|