Spark运行模式
- local本地模式(单机)–开发测试使用
分为local单线程和local-cluster多线程
- standalone独立集群模式–开发测试使用
典型的Mater/slave模式
- standalone-HA高可用模式–生产环境使用
基于standalone模式,使用zk搭建高可用,避免Master是有单点故障的
- on yarn集群模式–生产环境使用
运行在 yarn 集群之上,由 yarn 负责资源管理,Spark 负责任务调度和计算,
好处:计算资源按需伸缩,集群利用率高,共享底层存储,避免数据跨集群迁移。
FIFO
Fair
Capacity
- on mesos集群模式–国内使用较少
运行在 mesos 资源管理器框架之上,由 mesos 负责资源管理,Spark 负责任务调度和计算
- on cloud集群模式–中小公司未来会更多的使用云服务
比如 AWS 的 EC2,使用这个模式能很方便的访问 Amazon的 S3