checkpoint的机制保证了需要访问重复数据的应用Spark的DAG执行行图可能很庞大,任务中计算链可能会很长,这时如果任务中途运行出错,那么任务的整个需要重算非常耗时,因此,有必要将计算代价较大的RDD checkpoint一下,当下游RDD计算出错时,可以直接从checkpoint过的RDD那里读取数据继续算。
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object CheckPointTest {
def main(args: Array[String]) {
val sc: SparkContext = SparkContext.getOrCreate(new SparkConf().setAppName("ck").setMaster("local[2]"))
sc.setCheckpointDir("/Users/kinge/ck")
val rdd: RDD[(String, Int)] = sc.textFile("").map{x=>(x,1) }.reduceByKey(_+_)
rdd.checkpoint()
rdd.count()
rdd.groupBy(x=>x._2).collect().foreach(println)
}
}
作者:那年的坏人
链接:https://www.jianshu.com/p/653ebabc8f87
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。