版权声明：本文为IT晓白博主原创文章，转载请附上博文链接！ https://blog.csdn.net/qq_38617531/article/details/84070697
RDD：
Resilient Distributed Dataset(弹性分布式数据集)
弹性：数据集的可恢复型
原因：在分布式环境下，运算节点很容易出问题，会造成数据的丢失，rdd可以在数据丢失的背景下恢复数据。
数据恢复的技术：1.基本备份
2.基于日志（hadoop namenode中的namespace在磁盘上对应的是fsimage+editslog，当namenode重启的时候，从磁盘上读取fsimage和最新的editlog
Mysql数据库：基于binLog恢复。
Rdd:基于血缘（linkage）的恢复机制。记录了rdd转换的过程，在rdd丢失时，可以通过记录的过程（血缘）再次生成。
Rdd1==map====rdd2===reduce==rdd3
分布式：rdd可以分布在多个机器上，对外是透明的。
数据集：rdd 本质上就是一个list。对应于scala中集合的操作同样适用于rdd。默认的：当使用sparkconext读取文本文件的时候，一行文本作为rdd中的一个元素。
血缘恢复机制：保存的是计算过程，节省空间；但是恢复的时候需要执行计算过程来恢复数据，时间变长。总之就是以时间换空间