Apache Spark 运行模式

Spark运行模式

  • local本地模式(单机)–开发测试使用

分为local单线程和local-cluster多线程

  • standalone独立集群模式–开发测试使用

典型的Mater/slave模式

  • standalone-HA高可用模式–生产环境使用

基于standalone模式,使用zk搭建高可用,避免Master是有单点故障的

  • on yarn集群模式–生产环境使用

运行在 yarn 集群之上,由 yarn 负责资源管理,Spark 负责任务调度和计算,
好处:计算资源按需伸缩,集群利用率高,共享底层存储,避免数据跨集群迁移。
FIFO
Fair
Capacity

  • on mesos集群模式–国内使用较少

运行在 mesos 资源管理器框架之上,由 mesos 负责资源管理,Spark 负责任务调度和计算

  • on cloud集群模式–中小公司未来会更多的使用云服务

比如 AWS 的 EC2,使用这个模式能很方便的访问 Amazon的 S3

发布了295 篇原创文章 · 获赞 184 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/weixin_42072754/article/details/105273585