之前看了一些Spark的相关内容，我觉得很有必要进行总结一下，不然都搭不起自己的知识框架。
Apache Spark
Apache Spark™是用于大规模数据处理的统一分析引擎，是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。 官网地址:http://spark.apache.org/
Spark的主要特点
- 提供Cache机制来支撑需要反复迭代计算或者多次数据共享，减少数据的I/O开销；
- 提供支持DAG图的分布式并行计算变成框架，减少多次计算之间中间结果写到HDFS的开销；
- 使用多线程池模型来减少Task启动开销，Shuffle操作中避免不必要的sort操作，并减少磁盘操作。
Spark与Hadoop的比较
| Hadoop的局限 | Spark的改进 |
|---|---|
| 抽象层次低， 代码编写难易上手 | 通过使用RDD的统一抽象，实现数据处理逻辑的代码非常简洁。 |
| 只提供map和reduce两个操作，表达能力有限 | 通过RDD提供了很多transformation和action操作，实现了很多基本的操作，比如Sort，Join等。 |
| 一个job只有Map和Reduce两个阶段，复杂的程序需要大量的Job来完成，比起给Job之间的以来关系需要应用户自行管理 | 一个Job可以包含多个RDD转换操作，只需要在调度时生成多个Stage。一个Stage中可以包含多个Map操作，只需要Map操作使用的RDD分区保持不变。 |
| 处理逻辑隐藏在代码细节中，缺少整体逻辑视图 | RDD的转换支持流式API，提供处理逻辑的整体视图 |
| 对迭代式的数据处理性能比较差，Reduce与下一步Map之间的中间结果只能保存在HDFS文件系统中 | 通过内存缓存数据，可大大提高迭代式计算的性能，内存不足是可以溢出到磁盘上。 |
| ReduceTask需等待所有MapTask都完成后才开始执行 | 分区相同的转换操作可以在一个Task中以流水线的形式执行，只有分区不同的转换需要Shuffle操作。 |
| 时延高，只适用于批数据处理，对交互式数据处理和实时数据处理的支持不够 | 将流拆成小的Batch，提供Discretized Stream处理流数据 |
Spark主要组件
| 名称 | 功能 |
|---|---|
| SparkCore | 将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。 |
| SparkSQL | Spark Sql 是Spark来操作结构化数据的程序包，可以让我使用SQL语句的方式来查询数据，Spark支持 多种数据源，包含Hive表，parquest以及JSON等内容。 |
| SparkStreaming | 是Spark提供的实时数据进行流式计算的组件。 |
| MLlib | 提供常用机器学习算法的实现库。 |
| GraphX | 提供一个分布式图计算框架，能高效进行图计算。 |
| BlinkDB | 用于在海量数据上进行交互式SQL的近似查询引擎。 |
| Tachyon | 以内存为中心高容错的的分布式文件系统。 |
Spark Cluster Managers
cluster manager值集群上获取资源的外部服务器
- Standalone: Spark原生的资源管理器，有manager负责资源的分配
- Apache Messo: 与Hadoop MR兼容性良好的资源调度框架
- Hadoop Yarn： 指yarn中的resourceManager
推广一下自己的个人博客 zicesun.com
转载于:https://juejin.im/post/5cfdc98ae51d455071250ae6