spark--Spark运行模式-★

• 1.Local本地模式--开箱即用
• 2.Standalone独立集群模式–Spark自己的集群–不用!
• 3.Standalone-HA高可用集群模式–Spark自己的集群+ZK --偶尔用!但很少
• 4.==SparkOnYarn模式–分为Cluster模式(开发中使用)==和Client模式
• 5.SparkOnK8s 未来可能会流行(涉及到云计算/容奇/虚拟化技术…)
  

SparkOnYarn-Cluster

为什么开发中使用SparkOnYarn的Cluster模式:

• 1.为什么使用OnYarn:因为YARN作为一个资源/任务调度框架很成熟稳定,调度策略灵活(FIFO/Capacity/Fair等调度策略),在公司中使用广泛,可以对资源进行统一的调度管理,如可以使用YARN调度MapReduce/Spark/Flink等…
• 2.为什么使用Cluster:因为在Cluster模式下,Driver运行在Yarn的集群上,Driver和Worker集群之间的通信成本较低
• 因为Driver在AM上,Worker在NM上,都在Yarn集群上
  

SparkOnYarn-Client

• 开发不用