版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012036736/article/details/79832797
1.spark运行优势
善于使用内存,磁盘,迭代式计算是其核心
2.现在为什么很多公司都是使用java开发spark
a.scala高手较少,java高手较多
b.项目对接比较容易
c.系统运维方便
3.spark只能取代hive的存储引擎,不能取代hive的数仓部分
4.数据输出
可以把数据输出到hdfs,hive,s3,hbase
5.RDD
弹性表现:
a.rdd分片默认保存在内存,如果数据存储不了,则放到磁盘中
b.很好的容错机制
c.test失败后会自动进行特定次数的重试,默认4次
d.stage如果失败会自动的进行重试,只计算失败的任务,默认重试3次