Spark-2.4.0 源码学习系列《通信框架》之RpcEnv(NettyRpcEnv)

    RpcEnv是一个RPC环境, RpcEndPoint需要将自身注册到RpcEnv才能接收信息。RpcEnv将会处理RpcEndPointRef或远程节点发来的消息,并将消息传送给相应的RpcEndPoint.对于业务代码未捕获的的异常,RpcEnv会使用RpcCallContext.sendFailure方法将他们的发送回给发送方,或者打出日志(如果没有调用方),亦或者是NotSerializableException。

    RpcEnv是一个抽象类,它只有一个属性:   默认超时时间(defaultLookupTimeout,默认120s)

    RpvEnv目前只有一个实现类 - NettyRpcEnv,是我们本篇学习的主要内容。

    我们先来看下RpcEnv是在什么时候创建的:

    RpcEnv是在EndPoint(Master/Worker/Client)启动时创建的,这里我们列一下实现过程(截图是Master的startRpcEnvAndEndpoint方法,Master的启动过程以后会细讲):

 1. EndPoint启动时创建RpcEnv:val rpcEnv = RpcEnv.create(systemName, host, port, conf, securityMgr)

 2. RpcEnv.create(...)初始化一个NettyRpcEnvFactory,并调用其create(config: RpcEnvConfig)方法

 3. NettyRpcEnvFactory在其create方法中初始化NettyRpcEnv,并返回。

下面我们来看下NettyRpcEnv初始化时干了哪些事:

    1. 创建信息传输的配置对象:transportConf

    2. 初始化调度器 Dispatcher(前面已经介绍过)

    3. 初始化一个数据流管理器(这里不做介绍,用来处理NettyRpcEnv中的文件)

    4. 传输上下文 TranSportContext

    5. 创建消息传输客户端的创建工厂:clientFactory

    6. 声明文件下载工厂

    7. 创建超时调度器 timeoutScheduler:ScheduledThreadPoolExecutor

    8. 创建客户端连接执行器

    9. 声明消息传输服务器 TranSportServer

    10. 创建stopped变量,标记RpcEnv是否停止,fals

    11. 创建 outboxes:ConcurrentHashMap[RpcAddress, Outbox] 。

        是否还记得前面介绍的一个EndPoint对应一个inbox,多个outbox ? 

        一个EndPoint对应一个RpcEnv,一个RpcEnv对应多个outbox,所以一个endPoint对应多个outbox

        看一下inbox的代码:

    

    可见,inbox和endPoint是一一对应的。

  可见,NettyRpcEnv初始化时初始化了dispatcher(inbox)、clientFactory、tranSportServer、outboxes等几个Spark通信需要的几个重要。

猜你喜欢

转载自blog.csdn.net/Mathieu66/article/details/86673673