大数据:RDD持久化,RDD数据是过程数据,缓存,checkpoint,

大数据:RDD持久化

2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开
测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库
这oracle比sql安全,强大多了,所以你需要学习,最重要的,你要是考网络警察公务员,这玩意你不会就别去报名了,耽误时间!
与此同时,既然要考网警之数据分析应用岗,那必然要考数据挖掘基础知识,今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据,什么行测和面试都是小问题,最难最最重要的就是大数据技术相关的知识笔试


大数据:RDD持久化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这波就是为了节约资源
至于再算一次好说
在这里插入图片描述
在这里插入图片描述
spark为了解决上面的缺点,那就缓存,留一下结果
回头万一用的话,还能尽快读取rdd3

在这里插入图片描述
如何工作能?缓存
在这里插入图片描述
分散存储
底层物理是分散在多个node上的

缓存设计上是不安全,正常情况下没问题
在这里插入图片描述

它是安全的
直接放硬盘

在这里插入图片描述
集中收集
而不是分散哦
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


总结

提示:重要经验:

1)
2)学好oracle,即使经济寒冬,整个测开offer绝对不是问题!同时也是你考公网络警察的必经之路。
3)笔试求AC,可以不考虑空间复杂度,但是面试既要考虑时间复杂度最优,也要考虑空间复杂度最优。

猜你喜欢

转载自blog.csdn.net/weixin_46838716/article/details/131033874
今日推荐