RDD中的函数传递,例如把重复性的代码封装成方法,需要的时候直接调用即可,体现的是面向对象的思想。
原理:
初始化工作是在Driver程序中(构建SparkContext的类)进行,但是实际执行是在Worker节点中的Executor中进行的;
当Executor端执行时需要用到Driver端封装的class对象时,就需要把Driver端的对象通过序列化传输到Executor端,这个class方法需要实现Serializable序列化。
否则会报错,class没有实现序列化
Serialization stack:
- object not serializable (class: com.kevin.spark.core.Search, value: com.kevin.spark.core.Search@aa21042)
上正确代码
package com.kevin.spark.core
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
object Spark03_Search {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Application")
//构建Spark上下文
val sc: SparkContext = new SparkContext(conf)
//创建RDD
val rdd = sc.makeRDD(Array("abc", "bcd", "cde"))
//创建需要封装的Search对象
val s = new Search("b")
val newRDD: RDD[String] = s.getMatch1(rdd)
newRDD.collect().foreach(println)
//释放资源
sc.stop()
}
}
//构建查询类
class Search(query: String) extends Serializable {
//包含字符串query的数据isMatch
def isMatch(s: String) = {
s.contains(query)
}
//过滤出包含字符串的RDD
def getMatch1(rdd: RDD[String]) = {
rdd.filter(isMatch)
}
//过滤出包含字符串的RDD
def getMatch2(rdd: RDD[String]) = {
rdd.filter(x => x.contains(query))
}
}
打印结果:
abc
bcd