- 隐式转换
导入
import ort.apache.spark.SparkContext._
执行隐式转换,理解为:RDD根据其所存储信息类型的不同,为方便后续执行特定方法,隐式转化为对应类型的RDD(数值型或键值对型)。
- 持久化缓存
当需要多次使用同一个RDD,先对RDD进行持久化,即调用persist()将持久化RDD加入缓存
import ort.apache.spark.storage.StroageLevel
val result = input.map(x => x * x)
result.persist(StorageLevel.DISK_ONLY)
println(result.count)
println(result.collect().mkString(","))
- 为分布式数据集选择正确的分区方式、为本地数据集选择合适的数据结构,可提升程序的性能
- Pair RDD的转化操作
对单一Pair RDD(形如{(1, 2), (3, 4), (5, 6)}的数据集)
reduceByKey((x, y) => x + y) # 将相同键对应的值相加
groupByKey(x, y) # 将相同的键下的值进行合并
flatMapValues(func) # 对值操作func,并以对应原键的键值对的方式返回 - 对两个Pair RDD的转化
subtractByKey # 筛选对象中有,而参数中无的键的键值对记录