spark的UI界面解析

一:spark的UI界面

在这里插入图片描述

二:spark的UI界面解析

1 代表job页面,在里面可以看到当前应用分析出来的所有任务,以及所有的excutors中action的执行时间。
页可以分为两部分,一部分是event timeline,另一部分是进行中和完成的job任务。
第一部分event timeline展开后,可以看到executor创建的时间点,以及某个action触发的算子任务,执行的时间。通过这个时间图,可以快速的发现应用的执行瓶颈,触发了多少个action。
第二部分的图表,显示了触发action的job名字,它通常是某个count,collect等操作

2 代表stage页面,在里面可以看到应用的所有stage,stage是按照宽依赖来区分的,因此粒度上要比job更细一些
作血统图,标记了每个rdd从创建到应用的一个流程图,也是我们进行分析和调优很重要的内容

3 代表storage页面,我们所做的cache persist等操作,都会在这里看到,可以看出来应用目前使用了多少缓存

4 代表environment页面,里面展示了当前spark所依赖的环境,比如jdk,lib等等

5 代表executors页面,这里可以看到执行者申请使用的内存以及shuffle中input和output等数据
这个页面比较常用了,一方面通过它可以看出来每个excutor是否发生了数据倾斜,另一方面可以具体分析目前的应用是否产生了大量的shuffle,是否可以通过数据的本地性或者减小数据的传输来减少shuffle的数据量。

6 这是应用的名字,代码中如果使用setAppName,就会显示在这里

7 是job的主页面。

三:图片

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_43688472/article/details/85275557