持久化

如果说我们需要多次使用重复数据,那么每一次都创建新的RDD是很浪费资源的,这时候我们引入了持久化操作,持久化也不是立马变成持久化,类似于转换操作,也是等到行动操作发生时,触发真正计算,才会把计算结果变成持久化,持久化后的RDD会被放到内存中供后面操作重复使用,
.persist()标注持久化
.persist(MEMORY_ONLY)== .cache()内存不足时,会替换内容
.persit(MEORY_AND_DISK) 内存不足时,会放到磁盘
.unpersist()去持久化,把持久化的RDD从缓存中移除

发布了25 篇原创文章 · 获赞 0 · 访问量 390

猜你喜欢

转载自blog.csdn.net/qq_45371603/article/details/104577677