spark 累加器的使用

累加器的创建

累加器的抽象类类是AccumulatorV2 继承这个类,需要两个范型 in、out 。重写里面的抽象方法。iszero、reset、copy、merge、add、value

源码中已经实现好的累加器

LongAccumulator in 、out 类型全为long 除了重写了抽象方法之外还添加了其他的几个额外的方便的方法

DoubleAccumulator  in 、out 类型全为long 除了重写了抽象方法之外还添加了其他的几个额外的方便的方法

CollectionAccumulator in(自己传入类型) out(传入类型的java list)  除了重写了抽象方法之外还添加了其他的几个额外的方便的方法

LegacyAccumulatorWrapper  

累加器的注册

sparkContext.register(accumulator, "Category")

累加器的使用

Spark 相同的Task有可能被重复执行多次(容错性导致),所以累加器的值很有可能被累加多次,那么得到的结果就不准确了,所以一般把累加器放在行动操作中来使用,只有这样,Spark才会把每个任务对各累加器的修改应用一次。

下面举一个foreach的行动操作的例子:

发布了48 篇原创文章 · 获赞 5 · 访问量 1184

猜你喜欢

转载自blog.csdn.net/qq_34897849/article/details/102691406