Spark2.3.1 函数传递

Spark API非常依赖于在驱动器程序传递函数到集群上运行，有两种方式

1 匿名函数

2 全局单例对象的静态方法

    1) 传递单例对象的函数

object MyFunctions {
  def func1(s: String): String = { ... }
}

myRdd.map(MyFunctions.func1)

    2) 在类的方法中有transformation/action操作，且闭包引用类变量，则实例化类对象并且调用该方法时会将整个实例对象传递给各个节点，这样会消耗带宽资源和存储空间，为避免这种情况，可以将类变量赋值给局部变量，让闭包引用局部变量，无需传递整个对象

class MyClass {
  def func1(s: String): String = { ... }
  def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(func1) }
}

class MyClass {
  val field = "Hello"
  def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(x => field + x) } //相当于this.field + x需要传递整个对象
}

def doStuff(rdd: RDD[String]): RDD[String] = {
  val field_ = this.field
  rdd.map(x => field_ + x)//赋值给局部变量，不需要传递整个对象
}