存储管理模块整体架构

spark 存储管理模块整体架构


从架构上看存储管理模块采用的主要从结构来实现通信层，主节点和从节点之间传输控制信息、
状态信息。


存储层： 存储管理模块需要把数据存储到硬盘或者内存黄总，必要时还需要复制到远端
，这些操作由存储层来实现和提供相应的接口


从功能上看存储管理模块又分为俩个主要部分：
RDD缓存：整个存储管理模块主要的工作是RDD缓存，包括基于内存和磁盘的缓存


Shuffle数据持久化：Shuffle中间结果的数据也是交给存储管理模块进行故那里的
。Shuffle性能的好坏之间影响了spark 应用程序整体的性能，因此存储管理模块对于
Shuffle数据的处理有别于传统的RDD缓存


同时存储管理模块提供了与其他模块交互的接口，由统一的操作类Blockmanager提供
外部类若需要与存储管理模块交互，就要通过调用BlockManager相应接口来实现。