Spark的四种部署方式概括

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_33054265/article/details/87563602

1.Local模式

Local模式就是运行在一台计算机上的模式，通常用于在本机上测试，当不设置master参数的值时，默认此模式，具体有以下几种设置master的方式。

1. local：所有计算都运行在一个线程当中，没有任何并行计算。
2. local[n]：指定使用n个线程来运行计算。
3. local[*]：按照CPU的最多核数来设置线程数。

2.Standalone模式

设置master参数的值为spark://host:port，即开启Standalone模式，将构建一个基于Master/Slave的资源调度集群，Spark任务提交给Master运行。

3.Yarn模式

Spark客户端直接连接Yarn，不需要格外构建Spark集群，有yarn-client和yarn-cluster两种模式，主要区别在于Driver程序的运行节点不同（yarn-client的Driver程序运行在客户端，适用于交互、调试，而yarn-cluster的Driver程序运行在由ResourceManager启动的ApplicationMaster中，适用于生产环境）。master参数设置为yarn，deploy-mode参数为client或者cluster。

4.Mesos模式

Spark客户端直接连接Mesos，不需要额外构建Spark集群。