spark 运行流程：
Spark架构采用了分布式计算中的Master-Slave模型。Master是对应集群中的含有Master进程的节点，Slave是集群中含有Worker进程的节点。
- Master作为整个集群的控制器，负责整个集群的正常运行；
- Worker相当于计算节点，接收主节点命令与进行状态汇报；
- Executor负责任务的执行；
- Client作为用户的客户端负责提交应用；
- Driver负责控制一个应用的执行。
|
Spark集群部署后，需要在主节点和从节点分别启动Master进程和Worker进程，对整个集群进行控制。在一个Spark应用的执行过程中，Driver和Worker是两个重要角色。Driver 程序是应用逻辑执行的起点，负责作业的调度，即Task任务的分发，而多个Worker用来管理计算节点和创建Executor并行处理任务。在执行阶段，Driver会将Task和Task所依赖的file和jar序列化后传递给对应的Worker机器，同时Executor对相应数据分区的任务进行处理。
- Excecutor /Task 每个程序自有，不同程序互相隔离，task多线程并行
- 集群对Spark透明，Spark只要能获取相关节点和进程
- Driver 与Executor保持通信，协作处理
|
三种集群模式：
- 1.Standalone 独立集群
- 2.Mesos, apache mesos
- 3.Yarn, hadoop yarn
|
基本概念：
- Application =>Spark的应用程序，包含一个Driver program和若干Executor
- SparkContext => Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor
- Driver Program => 运行Application的main()函数并且创建SparkContext
- Executor => 是为Application运行在Worker node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。每个Application都会申请各自的Executor来处理任务
- Cluster Manager =>在集群上获取资源的外部服务 (例如：Standalone、Mesos、Yarn)
- Worker Node => 集群中任何可以运行Application代码的节点，运行一个或多个Executor进程
- Task => 运行在Executor上的工作单元
- Job => SparkContext提交的具体Action操作，常和Action对应
- Stage => 每个Job会被拆分很多组task，每组任务被称为Stage，也称TaskSet
- RDD => 是Resilient distributed datasets的简称，中文为弹性分布式数据集;是Spark最核心的模块和类
- DAGScheduler => 根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler
- TaskScheduler => 将Taskset提交给Worker node集群运行并返回结果
- Transformations => 是Spark API的一种类型，Transformation返回值还是一个RDD，所有的Transformation采用的都是懒策略，如果只是将Transformation提交是不会执行计算的
- Action => 是Spark API的一种类型，Action返回值不是一个RDD，而是一个scala集合；计算只有在Action被提交的时候计算才被触发。
|
转载：https://www.cnblogs.com/liuliliuli2017/p/6809094.html