Hadoop和Spark区别

1、Hadoop对数据进行存储分析,spark基于内存,只进行分析:spark可以使用Hadoop的HDFS或者其它基于云的数据平台,一般使用HDFS,毕竟两者的结合最好,Hadoop可以使用基于HDFS的hbase,能对数据进行修改删除,HDFS只能追加和全表删除

2、spark数据处理快于Hadoop:Hadoop从集群读取数据后,通过MapReduce将中间处理结果写入集群,然后重新读取新数据再处理,循环往复直到处理完毕,spark读取集群数据后,全部处理完毕才存入集群

3、Hadoop是一个大模块,spark可融入Hadoop生态,是对Hadoop的补充

4、灾难恢复方面,Hadoop磁盘读写,天生具有弹性恢复,spark基于RDD,放在内存或者磁盘中,也能进行灾难恢复

猜你喜欢

转载自blog.csdn.net/xiebinyuxyz/article/details/84954872