Spark广播变量和累加器

一.广播变量图解

　　

二.代码　

1 val conf = new SparkConf()
2 conf.setMaster("local").setAppName("brocast")
3 val sc = new SparkContext(conf)
4 val list = List("hello xasxt")
5 val broadCast = sc.broadcast(list)
6 val lineRDD = sc.textFile("./words.txt")
7 lineRDD.filter { x => broadCast.value.contains(x) }.foreach { println}
8 sc.stop()

三.注意事项

　　1.不能将一个RDD使用广播变量广播出去，因为RDD是不存储数据的【弹性分布式数据集】。可以将RDD的结果广播出去【collect，数据不能太多】。

　　2.广播变量只能在Driver端定义，不能在Executor端定义。

　　3.在Driver端可以修改广播变量的值，在Executor端无法修改广播变量的值。

四.累加器图解

　　

五.代码

1 val conf = new SparkConf()
2 conf.setMaster("local").setAppName("accumulator")
3 val sc = new SparkContext(conf)
4 val accumulator = sc.accumulator(0)
5 sc.textFile("./words.txt").foreach { x =>{accumulator.add(1)}}
6 println(accumulator.value)
7 sc.stop()

六.注意事项

　　1.累加器在Driver端定义赋初始值，累加器只能在Driver端读取，在Excutor端更新。