一、BlockManager运行实例观察
从Application启动的角度来观察BlockManager；
1，在Application启动时会在SparkEnv中注册BlockManagerMaster以及MapOutputTracker，其中
a) BlockManagerMaster：对整个集群的Block数据进行管理的；
b) MapOutputTracker:跟踪所有mapper的输出的；
2，BlockManagerMasterEndpoint本身是一个消息体，会负责通过远程消息通信的方式去管理所有节点的BlockManager；
3，每启动一个ExecutorBackend都会实例化BlockManager并通过远程通讯的方式注册给BlockManagerMaster；实质上是Executor中的BlockManager在启动的时候注册给了Driver上的BlockManagerMasterEndpoint；
4，MemoryStore是BlockManager中专门负责内存数据存储和读写的类；
5，DiskStore是BlockManager中专门负责基于磁盘的数据存储和读写的类；
6，DiskBlockManager：管理LogicBlock与Disk上的Physical Block之间的映射关系并负责磁盘的文件的创建、读写等；
从Job运行的角度来观察BlockManager；
1，首先通过MemoryStore才存储广播变量；
2，在Driver中是通过BlockManagerInfo来管理集群中每个ExecutorBackend中BlockManager中的元数据信息的；
3，当改变具体的ExecutorBackend上的Block信息后就必须发消息给Dirver中的BlockManagerMaster来更新相应的BlockManageInfo；
4，当执行第二个Stage的时候，第二个Stage会向Dirver中的MapOutputTrackerMasterEndpoint发消息请求上一个Stage中相应的输出，此时MapOutputTrackerMaster会把上一个Stage的输出数据的元信息发送当前请求的Stage；
相应的日志信息：
16/02/14 20:47:15 INFO spark.MapOutputTrackerMasterEndpoint: Asked to send map output locations for shuffle 0 to Worker3:45965
16/02/14 20:47:15 INFO spark.MapOutputTrackerMaster: Size of output statuses for shuffle 0 is 218 bytes
16/02/14 20:47:15 INFO storage.BlockManagerInfo: Added broadcast_2_piece0 in memory on Worker4:46458 (size: 22.6 KB, free: 2.7 GB)
16/02/14 20:47:15 INFO spark.MapOutputTrackerMasterEndpoint: Asked to send map output locations for shuffle 0 to Worker4:57697