Spark集群启动通讯原理简单解析

(1)start-all.sh脚本,实际是执行“java -cp Master”和“java -cp Worker”;

(2)Master启动时首先创建一个RpcEnv对象,负责管理所有通信逻辑;

(3)Master通过RpcEnv对象创建一个Endpoint,Master就是一个Endpoint,Worker可以与其进行通信;

(4)Worker启动时也是创建一个RpcEnv对象;

(5)Worker通过RpcEnv对象创建一个Endpoint;

(6)Worker通过RpcEnv对象建立到Master的连接,获取到一个RpcEndpointRef对象,通过该对象可以与Master通信;

(7)Worker向Master注册,注册内容包括主机名、端口、CPU Core数量、内存数量;

(8)Master接收到Worker的注册,将注册信息维护在内存中的Table中,其中还包含了一个到WorkerRpcEndpointRef对象引用;

(9)Master回复Worker已经接收到注册,告知Worker已经注册成功;

(10)Worker端收到成功注册响应后,开始周期性向Master发送心跳。

发布了355 篇原创文章 · 获赞 84 · 访问量 11万+

猜你喜欢

转载自blog.csdn.net/qq_43193797/article/details/89475384
今日推荐