Spark配置JobHistory

转载来自公司内部人士的文档

在spark-defaults.conf里面添加如下：

spark.eventLog.enabled true

spark.eventLog.dir hdfs://192.168.1.2:8020/SparkeventLog

spark.history.fs.logDirectory  hdfs://192.168.1.2:8020/SparkeventLog

spark.yarn.historyServer.address 192.168.1.2:18080

 

注1：spark.eventLog.dir和spark.history.fs.logDirectory中的ip为active的resourcemanager的地址

注2：spark.yarn.historyServer.address中的ip为你启动spark JobHistory的ip地址

注3：如果你的spark的历史job启动在hadoop的历史job所在机器，那么spark JobHistory的启动端口别与hadoop History的冲突