累加器的创建
累加器的抽象类类是AccumulatorV2 继承这个类,需要两个范型 in、out 。重写里面的抽象方法。iszero、reset、copy、merge、add、value
源码中已经实现好的累加器
LongAccumulator in 、out 类型全为long 除了重写了抽象方法之外还添加了其他的几个额外的方便的方法
DoubleAccumulator in 、out 类型全为long 除了重写了抽象方法之外还添加了其他的几个额外的方便的方法
CollectionAccumulator in(自己传入类型) out(传入类型的java list) 除了重写了抽象方法之外还添加了其他的几个额外的方便的方法
LegacyAccumulatorWrapper
累加器的注册
sparkContext.register(accumulator, "Category")
累加器的使用
Spark 相同的Task有可能被重复执行多次(容错性导致),所以累加器的值很有可能被累加多次,那么得到的结果就不准确了,所以一般把累加器放在行动操作中来使用,只有这样,Spark才会把每个任务对各累加器的修改应用一次。
下面举一个foreach的行动操作的例子: