Checkpoint
我们必须记录一些信息以方便恢复现场，在Spark Streaming中使用checkpoint实现恢复操作。
Spark Streaming中有两种不同对象的checkpont操作。
元数据(Metadata) checkpointing
保存Streaming中定义流计算的相关信息到可信赖的文件系统如HDFS，这种方式用于运行Driver的节点失败之后的恢复。
元数据包括：
- 配置---创建context时的配置
- DStream的操作---定义流应用程序的DStream操作集
- 未完成的批次---记录已经在队列中但是还没有完成的批次
数据(Data) checkpointing
保存生成的RDD到可信赖的存储中，有一种场景是一些有状态的transformations是跨多个批次的数据组合，生成的RDD依赖上个批次的RDD，导致RDD的依赖链随着程序运行越来越长，当程序失败后，因为依赖链过长，恢复需要相当长的时间，如果定期checkponit就可以切断依赖链以减少恢复时间。
注意：切断RDD之间的依赖链只是Data checkpointing顺带解决的问题，而不是设计Data checkpointing的目的，Data checkpointing的目的和作用还是保存RDD到可信赖的存储。
总的来说，元数据checkpoint主要是为了driver失败后的恢复，然而，如果使用上面提及的stateful transformations，RDD的checkpoint也是必要的。
checkpoint应用场景
checkpoint在以下场景中是必要的：
- stateful transformations：在使用updateStateByKey, reduceByKeyAndWindow这类算子之后必须使用checkpoint
- 从运行应用程序的驱动程序的故障中恢复——元数据检查点用于恢复进度信息。
checkpoint的使用
对于上面提及的Stateful checkpoint(第2类)，可以直接使用streamingContext.checkpoint(checkpointDirectory)即可
对于方便driver恢复的checkpoint(第1类)，在应用程序中必须满足以下行为：
- 当应用程序一启动，将创建StreamingContext，配置流信息然后start()
- 当应用程序失败之后的重新启动，将会从checkpoint目录中的checkpoint数据中恢复StreamingContext。
上面的两种行为可以用StreamingContext.getOrCreate完成。
// Function to create and setup a new StreamingContext
def functionToCreateContext(): StreamingContext = {
val ssc = new StreamingContext(...) // new context
val lines = ssc.socketTextStream(...) // create DStreams
...
ssc.checkpoint(checkpointDirectory) // set checkpoint directory
ssc
}
// Get StreamingContext from checkpoint data or create a new one
val context = StreamingContext.getOrCreate(checkpointDirectory, functionToCreateContext _)
// Do additional setup on context that needs to be done,// irrespective of whether it is being started or restarted
context. ...
// Start the context
context.start()
context.awaitTermination()
当checkpoint目录不存在时，将重新创建context。
累加器与广播变量
累加器与广播变量不能直接从checkpoint中恢复，如果想使用累加器与广播变量，可以借助单例对象，创建一个懒加载的单例实例对象保存累加器与广播变量，当driver由于失败重新启动时，将会重新实例化这些懒加载的单例对象。
object WordBlacklist {
@volatile private var instance: Broadcast[Seq[String]] = null
def getInstance(sc: SparkContext): Broadcast[Seq[String]] = {
if (instance == null) {
synchronized {
if (instance == null) {
val wordBlacklist = Seq("a", "b", "c")
instance = sc.broadcast(wordBlacklist)
}
}
}
instance
}}
object DroppedWordsCounter {
@volatile private var instance: LongAccumulator = null
def getInstance(sc: SparkContext): LongAccumulator = {
if (instance == null) {
synchronized {
if (instance == null) {
instance = sc.longAccumulator("WordsInBlacklistCounter")
}
}
}
instance
}}
wordCounts.foreachRDD { (rdd: RDD[(String, Int)], time: Time) =>
// Get or register the blacklist Broadcast
val blacklist = WordBlacklist.getInstance(rdd.sparkContext)
// Get or register the droppedWordsCounter Accumulator
val droppedWordsCounter = DroppedWordsCounter.getInstance(rdd.sparkContext)
// Use blacklist to drop words and use droppedWordsCounter to count them
val counts = rdd.filter { case (word, count) =>
if (blacklist.value.contains(word)) {
droppedWordsCounter.add(count)
false
} else {
true
}
}.collect().mkString("[", ", ", "]")
val output = "Counts at time " + time + " " + counts})