【SPARK】- RDD持久化

因为RDD的惰性求值机制,每次遇到行动操作,都会触发一次从头开始的计算。这对于迭代计算而言,代价是很大的,迭代计算经常需要多次重复使用同一组数据。

因此,可以通过持久化(缓存)机制避免这种重复计算的开销

可以使用persist()方法对一个RDD标记为持久化标记持久化:出现persist()语句的地方,并不会马上计算生成RDD并把它持久化,而是要等到遇到第一个行动操作触发真正计算以后,才会把计算结果进行持久化,持久化以后的RDD将会被保留在计算节点的内存中被后面的行动操作重复使用)

persist(element)  element:

MEMORY_ONLY:表示将RDD作为反序列化的对象存储在JVM中,如果内存不足,就要按照LRU原则替换缓存中的内容

MEMORY_AND_DISK:表示将RDD作为反序列化的对象存储在JVM中,如果内存不足,超出的分区将会被存储在硬盘上

一般而言,使用cache()方法时,会调用persist(MEMORY_ONLY)

可以使用unpersist()方法手动吧持久化的RDD从缓存中移除

如下图:

猜你喜欢

转载自blog.csdn.net/u010530712/article/details/82625783