【Spark二五】Spark常见问题

1. RDD之间的依赖关系(DAG静态视图)是什么时候确定的,具体到代码层次

2. 对DAG中的RDD根据RDD的宽窄依赖进行Stage划分,这个在什么时候做的,具体到代码层次

3. 在DAG的Shuffle阶段,此时Stage的输出将作为下一个Stage的输入以及输出到什么位置,这个在什么时候做的,具体到代码层次

4. 所谓的基于排序的Shuffle和基于Hash的Shuffle,这二者是什么区别?带有排序具体是什么意思?是全局排序还是只针对一个Partition进行排序?

5

猜你喜欢

转载自bit1129.iteye.com/blog/2177018