Spark最新2.x源码二-----------SparkRPC架构-RPC发展史--RpcEndpoint---RpcEnv---RpcEndpointRef

欢迎访问:https://blog.csdn.net/qq_21439395/article/details/82817538

交流QQ: 824203453

Spark Rpc 架构
1. 演变历程简述：

Actor中有3个重要概念，ActorSystem、Actor和ActorRef 。

spark1.4规范了rpc的接口，该规范根据akka的actor抽象出三个重要的接口(Trait 特质和抽象类)，并且和actor中class对应关系如下：

RpcEnv => ActorSystem
RpcEndpoint => Actor
RpcEndpointRef => ActorRef

在Akka中，rpc的通信的两端称之为Actor

1.4版本的RPC接口规范之后，rpc通信的两端称之为endpoint。每一个endpoint都要实现RpcEndpoint特质。

每一个endpoint，都要由一个管理者创建，这个管理者就是RpcEnv。

同Actor一样，一个Jvm中只有一个管理者，但可以有多个endpoint。

想要进行通信，就必须拿到对方endpoint的引用，也就是RpcEndpointRef。

在spark1.6版本中，底层的通信框架引入了新的netty，保留了akka。

在spark2.0版本中，移除了akka。

1. 1. Rpc架构

SparkRPC架构的核心对象：

RPC 全家福：

1. 1. RpcEndpoint

RpcEndpoint功能同Actor，用于rpc通信的实体，通信并处理消息。

一个RpcEndpoint的生命周期方法主要有:

onStart -> receive / receiveAndReply -> onStop

其他的方法主要是处理连接建立断开和错误等事件。

/**
* Invoked before [[RpcEndpoint]] starts to handle any message.
*/
def onStart(): Unit = {
// By default, do nothing.
}

/**
* Process messages from `RpcEndpointRef.send` or `RpcCallContext.reply`. If receiving a
* unmatched message, `SparkException` will be thrown and sent to `onError`.
*/
def receive: PartialFunction[Any, Unit] = {
case _ => throw new SparkException(self + " does not implement 'receive'")
}

/**
* Process messages from `RpcEndpointRef.ask`. If receiving a unmatched message,
* `SparkException` will be thrown and sent to `onError`.
*/
def receiveAndReply(context: RpcCallContext): PartialFunction[Any, Unit] = {
case _ => context.sendFailure(new SparkException(self + " won't reply anything"))
}

receive和receiveAndReply方法用于处理接收的消息，区别是后者处理完消息后会返回消息给发送者。receive方法处理完接收的消息，不给任何回复。

receive方法会被执行多次。

onStart方法，主要是在endpoint初始化之前的业务逻辑，也就是说在receive接收消息之前的业务逻辑。

onStart仅仅会被调用一次。

RpcEndpoint的特质继承关系：

Spark部署模式：Standalone集群。

Spark中的rpc通信主要有：

Master ,集群管理者，接收客户端任务请求，管理worker
Worker,向master发送心跳，管理executor
StandaloneAppClient（拥有用于通信的内部类ClientEndpoint），ScheduleBackend持有它（standalone模式下，实例化为CoarseGrainedSchedulerBackend），在standalone部署模式下，driver通过它来与master通信
DriverEndpoint，ScheduleBackend（standalone模式下，实例化为CoarseGrainedSchedulerBackend）用来与executor通信，收集executor信息，收集task变化信息
CoarseGrainedExecutorBackend，每一个executor对应一个，和driver通信运行或取消任务等
MapoutTracker，MapoutTracker有两个实现类：MapoutTrackerMaster和MapoutTrackerWorker。前者运行在Driver端，后者运行在每一个executor上，两者通信用来保存ShuffleMapTask的map输出数据信息。MapoutTrackerMaster持有MapoutTrackerMasterEndpoint接收信息，MapoutTrackerWorker持有EndpointRef汇报map out输出信息
BlockManager，BlockManager负责spark运行期间的数据信息的收集以及存与取，BlockManager运行在Driver和每一个executor上，BlockManager持有BlockManagerMaster，在Driver上BlockManagerMaster持有BlockManagerMasterEndpoint，executor上持有EndpointRef，executor调用blockmanager汇报信息，实际上是通过endpointref汇集到driver上。

standaloneAppClient$ClientEndpoint ，driver通过这个和Master 进行通信

DriverEndpoint，driver通过这个和 executor进行通信。

1. 1. RpcEnv

RpcEndpoint是由RpcEnv来创建的。

RpcEnv是一个抽象类，在spark2.x版本中，使用的具体的实现类是NettyRpcEnv。

private[spark] object RpcEnv {
def create(
      name: String,
      host: String,
      port: Int,
      conf: SparkConf,
      securityManager: SecurityManager,
      clientMode: Boolean = false): RpcEnv = {
    create(name, host, host, port, conf, securityManager, clientMode)
}

def create(
      name: String,
      bindAddress: String,
      advertiseAddress: String,
      port: Int,
      conf: SparkConf,
      securityManager: SecurityManager,
      clientMode: Boolean): RpcEnv = {
    // 这个RpcEnvConfig 就类似于actor中ConfigFactory 获取config配置
    val config = RpcEnvConfig(conf, name, bindAddress, advertiseAddress, port, securityManager,
      clientMode)
    // 根据配置启动 RpcEnv
    new NettyRpcEnvFactory().create(config)
}
}

在object RpcEnv中，重要的功能是创建一个RpcEnv的实例，这个实例就是用于管理endpoint。

具体的一个endpoint（Worker）实例中的使用：

val rpcEnv = RpcEnv.create(SYSTEM_NAME, host, port, conf, securityMgr)

* An RPC environment. [[RpcEndpoint]]s need to register itself with a name to [[RpcEnv]] to
* receives messages. Then [[RpcEnv]] will process messages sent from [[RpcEndpointRef]] or remote
* nodes, and deliver them to corresponding [[RpcEndpoint]]s.

翻译一下：

RpcEnv 是一个RPC 环境。 RpcEndpoint需要使用RpcEnv的名称来注册自己，以接收消息。RpcEnv将处理从RpcEndpointRef或远程节点发送的消息，并将它们传递到相应的RpcEndpoint。

private[spark] abstract class RpcEnv(conf: SparkConf) {

在抽象类 RpcEnv中，有一个重要且常用的方法setupEndpoint方法。该方法就是利用上述创建的RpcEnv实例，来初始化（注册）一个Endpoint，并返回该endpoint的RpcEndpointRef(俗称代理对象)。

必须拿到某一个Endpoint的代理对象才能向该endpoint发送消息。

/**
* Register a [[RpcEndpoint]] with a name and return its [[RpcEndpointRef]]. [[RpcEnv]] does not
* guarantee thread-safety.
*/
def setupEndpoint(name: String, endpoint: RpcEndpoint): RpcEndpointRef

提供了一个setupEndpointRef 来获取到指定endpoint的引用对象。

/**
* Retrieve the [[RpcEndpointRef]] represented by `address` and `endpointName`.
* This is a blocking action.
*/
def setupEndpointRef(address: RpcAddress, endpointName: String): RpcEndpointRef = {
setupEndpointRefByURI(RpcEndpointAddress(address, endpointName).toString)
}

一个具体的endpoint（worker）的实例化：

rpcEnv.setupEndpoint(ENDPOINT_NAME, new Worker(rpcEnv, webUiPort, cores, memory,
masterAddresses, ENDPOINT_NAME, workDir, conf, securityMgr))

5 RpcEndpointRef

RpcEndpointRef是RpcEndpoint的一个引用，简称代理。RpcEndpointRef是线程安全的。

要想向一个RpcEndpoint发送消息，必须先持有其Ref代理,通过该代理才能发送消息。

/**
* A reference for a remote [[RpcEndpoint]]. [[RpcEndpointRef]] is thread-safe.
*/
private[spark] abstract class RpcEndpointRef(conf: SparkConf)

RpcEndpointRef 抽象类的结构：

常用的发送消息的方法是send，ask，askSync。

/**
* Sends a one-way asynchronous message. Fire-and-forget semantics.
*/
def send(message: Any): Unit

def ask[T: ClassTag](message: Any, timeout: RpcTimeout): Future[T]

def askSync[T: ClassTag](message: Any, timeout: RpcTimeout): T = {
val future = ask[T](message, timeout)
timeout.awaitResult(future)
}

send发送的消息，没有返回值，用receive接收即可。

ask和askSync，发送的消息有返回值，用receiveAndReply来接收。

实例： worker获取到master的ref引用对象，然后发送注册消息。

masterEndpoint.send(RegisterWorker(
// 生成workerId,格式为：格式：worker-时间-主机名-端口
workerId,host, port, self, cores, memory, workerWebUiUrl, masterEndpoint.address))

欢迎访问:https://blog.csdn.net/qq_21439395/article/details/82817538

交流QQ: 824203453

Spark最新2.x源码二-----------SparkRPC架构-RPC发展史--RpcEndpoint---RpcEnv---RpcEndpointRef

猜你喜欢