四个节点，Driver和Worker是启动在节点上的进程，运行在JVM中的进程。
- Driver与集群节点之间有频繁的通信
- Driver负责任务(tasks)的分发和结果的回收。任务的调度。如果task的计算结果非常大就不要回收了。会造成oom
- Worker是Standalone资源调度框架里面资源管理的从节点。也是JVM进程
- Master是Standalone资源调度框架里面资源管理的主节点。也是JVM进程
Spark任务执行
猜你喜欢
转载自www.cnblogs.com/xiangyuguan/p/11203162.html
今日推荐
周排行