Spark存储模式的工作原理详解

版权声明：本博客都是作者10多年工作总结 https://blog.csdn.net/Peter_Changyb/article/details/81938601

Spark存储模式使用了Master/Slave,RPC机制进行通信，Master负责元数据管理，Slave负责上报本地数据状态。

存储模式架构说明：

1. Executor启动时创建SparkEnv,SparkEnv创建BlockManager和数据同步的服务BlockTranferService；

2. BlockManager创建后，会创建BlockManagerMasterEndPoint和BlockManagerSlaveEndPoint,并注册到Driver,这样保证了Executor和Driver建立了通信机制；

3. BlockTranferService创建后，节点之间通过它来进行通信和数据同步，使用了Netty框架实现。