sparkEnv初始化流程

SparkEnv的方法createDriverEnv最终调用create创建SparkEnv。SparkEnv的构造步骤如下:
1) 创建安全管理器SecurityManager;
2) 创建基于Akka的分布式消息系统ActorSystem;
3) 创建Map任务输出跟踪器mapOutputTracker;
4) 实例化ShuffleManager;
5) 创建ShuffleMemoryManager;
6) 创建块传输服务BlockTransferService;
7) 创建BlockManagerMaster;
8) 创建块管理器BlockManager;
9) 创建广播管理器BroadcastManager;
10) 创建缓存管理器CacheManager;
11) 创建HTTP文件服务器HttpFileServer;
12) 创建测量系统MetricsSystem;
13) 创建SparkEnv;

猜你喜欢

转载自blog.csdn.net/java_soldier/article/details/80395122
今日推荐