RDD血缘关系的追溯和持久化、checkPoint语法

1. RDD血缘关系语法

RDD血缘关系的追溯:toDebugString

查看RDD间依赖类型:.dependencies

2. RDD数据持久化

RDD数据持久化缓存:.cache(也可以用persist,实际上cache就是用的persist方法)

3. RDD设置检查点及使用

RDD设置检查点

scala> sc.setCheckpointDir("hdfs://hadoop100:9000/checkpoint")

RDD做checkPoint和使用checkPoint

scala> ch.checkpoint
scala> ch.collect

猜你喜欢

转载自blog.csdn.net/wx1528159409/article/details/87647405