Spark之累加器

	<累加器>

1.在外部定义的值 无法在Executor 中进行累加 最后在外部输出 还是原来定义的值 并没有进行累加
所以用累加器
累加器的 用法 var acc=SparkContext(conf).logAccumulator
在进行测试 在算子中累加 acc.add(1) 这样每次进入方法就会 加上1 最后在外部遍历变量 acc.value 就可以 获取到累加器里面的值
Spark 1.6 之前无法在 Executor 中使用累加器的值
2.x版本以后可以在 Executor中使用 也可以 asc.value

发布了19 篇原创文章 · 获赞 5 · 访问量 491

猜你喜欢

转载自blog.csdn.net/qq_42890382/article/details/103877196