Spark RDD在Spark中的地位和作用如何?

一 为什么会有Spark?

因为传统的并行计算模型无法有效的解决迭代计算(iterative)和交互式计算(interactive)而Spark的使命便是解决这两个问题,这也是他存在的价值和理由.

二 Spark如何解决迭代计算?

其主要实现思想就是RDD,把所有计算的数据保存在分布式的内存中.迭代计算通常情况下都是对同一个数据集做反复的迭代计算,数据在内存中将大大提升IO操作.这也是Spark涉及的核心:内存计算.

三 Spark如何实现交互式计算?

因为Spark是用scala语言实现的,Spark和scala能够紧密的集成,所以Spark可以完美的运用scala的解释器,使得其中的scala可以向操作本地集合对象一样轻松操作分布式数据集.

四 Spark和RDD的关系?

可以理解为:RDD是一种具有容错性基于内存的集群计算抽象方法,Spark则是这个抽象方法的实现.

发布了249 篇原创文章 · 获赞 218 · 访问量 47万+

猜你喜欢

转载自blog.csdn.net/qianfeng_dashuju/article/details/105576728