spark目录导图

一、介绍

1.1、RDD介绍

1.2、缓存策略

• cache persist, StorageLevel
• Lineage ， 如果Lineage过长，为了容错，就需要进行缓存或者checkpoint
• 宽窄依赖

1.3、Spark之任务流程和角色

• job的切分
• 任务的调度
• 执行架构

二、安装

• 配置HA

三、算子

• mapPartitions
• reduceByKeyAndWindow
• Broadcast变量&Accumulators

四、简单案例

4.1、spark 简单案例

• WordCount
• spark pi 原理解析
• PageRank
• topN
• 分组topN
• Spark的高级排序（二次排序）

4.2、Spark SQL

• 通过Dataframe作HIve
-

五、整合

六、问题

• 问题与调优

七、总结