SparkUI详解,SparkUI是个好东西啊

SparkUI是个好东西,可以很清楚的看到集群中的几个worker节点
还能看到每个worker节点的CPU核数和内存 甚至还能看一个job作业运行的时候哪些executor运行,哪些节点运行和本地性级别!

例如:
在这里插入图片描述

再点击每个worker节点

在这里插入图片描述
我们通过spark-shell运行作业,要想查看通过sparkshell运行的作业可以点击spark-shell
在这里插入图片描述

在这里插入图片描述

如果想看每个作业的详细信息可以点击描述:
在这里插入图片描述
在这里插入图片描述
再点击描述
在这里插入图片描述
此处描述的已经非常详细了,每个taskID 本地性级别 使用的是哪个Executor哪个worker 十分详细

猜你喜欢

转载自blog.csdn.net/qq_35128600/article/details/89499223