7、在集群上运行Spark
Spark的运行模式:
1、Local 本地模式 常用于本地开发测试,本地还分为local单线程和local-cluster多线程。
2、Standalone 集群模式 典型的Mater/slave模式,不过也能看出Master是有单点故障的;Spark支持 ZooKeeper来实现HA。
3、On yarn 集群模式 运行在yarn资源管理器框架之上,由yarn负责资源管理,Spark负责任务调度和计算。
4、On mesos 集群模式 运行在mesos资源管理器框架之上,由mesos负责资源管理,Spark负责任务调度和计算。
。。。。。。