spark性能调优-rdd重构和rdd持久化

1.尽量去复用RDD,差不多的RDD,可以抽取称为一个共同的RDD,供后面的RDD计算时,反复使用。

2.公共RDD一定要实现持久化(persite,catch),持久化可以持久化到内存(内存不够可以存放到磁盘里面)

3.序列化我们需要持久化的RDD,序列化会节省空间,不过要使用的时候必须反序列化

4.为了数据的高可靠性,而且内存充足,可以使用双副本机制,进行持久化持久化的双副本机制,持久化后的一个副本,因为机器宕机了,副本丢了,就还是得重新计算一次;持久化的每个数据单元,存储一份副本,放在其他节点上面;从而进行容错;一个副本丢了,不用重新计算,还可以使用另外一份副本。这种方式,仅仅针对你的内存资源极度充足

猜你喜欢

转载自blog.csdn.net/u013164612/article/details/80608631