1 运行时架构
1) 驱动器节点Driver
驱动器程序的两个功能
> 把用户程序转化为任务
(1) 驱动器程序把用户程序转为多个物理执行单元，称为任务
(2) 程序从输入数据创建一系列RDD，转化操作生成新的RDD，最后执行行动操作
(3) 由操作隐式创建逻辑有向无环图，驱动器运行时把DAG转为物理执行计划
(4) Spark把DAG转为一系列步骤，每个步骤由多个任务组成，任务是Spark的最小工作单元
> 为执行器节点调度任务
(1) 驱动器程序在各执行器进程间协调任务的调度
(2) 执行器进程启动后，在驱动器进程注册自己，每个执行器节点代表一个能够处理任务和存储RDD的进程
(3) 驱动器程序根据当前执行器节点集合位置，分配合适的执行器进程
(4) 执行器进程将数据缓存后，驱动器程序会跟踪缓存数据的位置，并继续调度之后的任务，减少网络传输
2) 执行器节点
> 是工作进程，负责在Spark中运行任务，任务相互独立
> 所有执行器节点同时启动，伴随Spark应用的声明周期
> 两大作用
(1) 运行任务，将结果返回给驱动器程序
(2) 通过块管理器(Block Manager)为RDD提供内存式存储
3) 集群管理器
> 集群管理器是可插拔的，独立调度器，YARN，Mesos
> 申请资源启动执行器节点，有时用来启动驱动器节点
总结：
(1) 用户使用spark-submit脚本提交应用
(2) 脚本启动驱动器程序，调用用户定义的main()
(3) 驱动器程序与集群管理器通信，申请资源启动执行器节点
(4) 集群管理器为驱动器程序启动执行器节点
(5) 驱动器进程执行引用操作，根据定义的转化操作和行动操作，把工作以任务的方式发送到执行器进程
(6) 任务在执行器进程中计算并保存结果
(7) 退出main()，或者调用SparkContext.stop()，驱动器程序终止执行器进程，通过集群管理器释放资源
2 spark-submit部署应用
1) 提交用户作业的统一工具 spark-submit
2) 控制应用运行细节，一调度信息，二运行时依赖
3 打包代码和依赖
如果依赖多个库，需要打包成一个大的jar包，使用：
1) Maven
2) sbt
3) 依赖冲突
> 修改应用依赖库的版本
> "shading"
4 应用间和应用内调度
配置调度策略，如公平调度器
5 集群管理器
独立集群调度器，YARN, EC2, Mesos