Spark-checkPoint

1.检查点机制目标:

在这里插入图片描述

2.驱动程序容错:
  启动失败后重启,会用getOrCreate方法从检查点目录初始化出StreamingContext

在这里插入图片描述

3.工作节点容错:
  1.最佳方式还是使用可靠的数据源(HDFS、拉式Flume等)。
  2.提供exactly once语义,即使一个工作节点上的数据处理失败,
    容错后得出的结果和之前是一样的

猜你喜欢

转载自blog.csdn.net/weixin_41227335/article/details/86566253