spark学习(1) : spark介绍

spark介绍

spark拥有hadoop mapreduce所具有的优点,但输出结果可以保存在内存中,从而不需要读写hdfs

spark负责数据的计算,用来替代mapreduce编程模型,不能替代hdfs等存储系统

spark特点:

  • 运算速度快,内存中计算可达hadoop的100倍,硬盘中也能快10倍
  • 易于使用,可以使用java,scala,python等进行编程
  • 通用,SQL,streaming实时计算,MLib机器学习,graphX图计算
  • 可以运行在各种平台上

为什么要学习spark:

猜你喜欢

转载自www.cnblogs.com/wbyixx/p/11111479.html