Spark RDD容错率描述


1,Spark RDD如果其中的RDD计算错误,重算它会找与之前的RDD

2,Spark RDD如果RDD做了缓存策略,计算错误的RDD重算就会从缓存里面找

3,Spark RDD如果Lineage过长对RDD做doCheckpoint(),计算错误的RDD重算就会从磁盘里面找到

猜你喜欢

转载自blog.csdn.net/afafawfaf/article/details/81045186