大数据的炙手可热，让更多的开发者开始深入研究大数据框架之间的异同，以期通过二者的区别，将框架更加精准的应用，从而实现更好的数据处理，谈到大数据框架，自然就离不开hadoop与spark，所以我们不妨从而这的异同点出发，详细了解大数据框架的魅力。
关于概念我们可以做一个简单的解释，以便于更好的理解
首先是spark的概念：
Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，类似于Hadoop MapReduce的通用并行计算框架，Spark基于Map Reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。
其次是hadoop的概念：
Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。
关于二者的概念我们就了解到这里，下面我们具体的了解二者的异同。
首先、二者解决问题的层面不相同
Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。而Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
其次、二者相爱相杀，并不存在互相取代的关系
Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的。
Spark因为其处理数据的方式不一样，会比MapReduce快上很多，它会在内存中以接近“实时”的时间完成所有的数据分析，Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。
最后、灾难恢复
两者的灾难恢复方式迥异，但是都很不错。因为Hadoop将每次处理后的数据都写入到磁盘上，所以其天生就能很有弹性的对系统错误进行处理。Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD: Resilient Distributed Dataset)中。这些数据对象既可以放在内存，也可以放在磁盘，所以RDD同样也可以提供完成的灾难恢复功能。
在场景上，Hadoop的适用场景包含：海量数据的离线分析处理、大规模Web信息搜索、数据密集型并行计算。而Spark的适用场景这包含：多次操作特定数据集的应用场合、粗粒度更新状态的应用等。
Hadoop与spark的异同有很多，关键还是需要从业人员在实践中去应用、去实操。当然，作为一个开发者，并不要去刻意的区分，毕竟能够真正解决工作中遇到的问题的方法就是好方法。所以，关于hadoop与spark只要将其应有对场景，那么就能够创造出其应有的价值。