第7课:实战解析spark运行原理和rdd解密

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012036736/article/details/79832797

1.spark运行优势

善于使用内存,磁盘,迭代式计算是其核心

2.现在为什么很多公司都是使用java开发spark

a.scala高手较少,java高手较多

b.项目对接比较容易

c.系统运维方便

3.spark只能取代hive的存储引擎,不能取代hive的数仓部分

4.数据输出

可以把数据输出到hdfs,hive,s3,hbase

5.RDD

弹性表现:

a.rdd分片默认保存在内存,如果数据存储不了,则放到磁盘中

b.很好的容错机制

c.test失败后会自动进行特定次数的重试,默认4次

d.stage如果失败会自动的进行重试,只计算失败的任务,默认重试3次



猜你喜欢

转载自blog.csdn.net/u012036736/article/details/79832797